LDA शब्दों को विषयों में कैसे समूहित करता है

LDA के भीतर विषय शब्दों पर एक संभाव्यता-वितरण होता है। खेल-विषय goal और match को अधिक भार देता है, जबकि recipe को कम।

हर दस्तावेज़ को अपना मिश्रण मिलता है—जैसे 60% पहला विषय और 40% दूसरा विषय। यही मिश्रण उसके शब्द-चयन को समझाता है।

LDA कल्पना करती है कि हर शब्द लिखने से पहले एक विषय चुना गया और फिर उसमें से एक शब्द लिया गया। यह उत्पादन की कहानी मॉडल का मूल आधार है। ✍️

आपको केवल अंतिम शब्द दिखाई देते हैं। LDA उन छिपे हुए विषयों का अनुमान लगाती है जिन्होंने सबसे अधिक संभावना से उन्हें बनाया होगा और उत्पादन प्रक्रिया को उलट देती है।

जो शब्द बार-बार साथ आते हैं, उन्हें एक ही विषय में रखा जाता है। सह-उपस्थिति वह मुख्य संकेत है जिसका उपयोग LDA उन्हें समूहित करने के लिए करती है।

LDA यह अनुमान नहीं लगाती कि कितने विषय मौजूद हैं। आप पहले ही num_topics तय करते हैं और मॉडल उनमें सामग्री भर देती है।

LDA bag-of-words दृष्टिकोण अपनाती है: केवल यह मायने रखता है कि कौन से शब्द आए और कितनी बार आए, उनका क्रम नहीं। विषय खोजते समय व्याकरण को नज़रअंदाज़ किया जाता है।

एक शब्द अलग-अलग भार के साथ कई विषयों से संबंधित हो सकता है। LDA नरम असाइनमेंट देती है और किसी शब्द को केवल एक समूह में रखने के लिए बाध्य नहीं करती।

Latent का अर्थ छिपा हुआ है, Dirichlet मिश्रणों के गणित को दर्शाता है और Allocation शब्दों को बाँटना है। इनसे मिलकर LDA बनता है।

LDA मानती है कि विषय शब्दों के वितरण हैं और दस्तावेज़ विषयों के मिश्रण हैं। यह साथ आने वाले शब्दों से पीछे की ओर जाकर दोनों छिपे हुए ढाँचे खोजती है। 🧩