العثور على أهم الكلمات

تمتلئ مصفوفة TF-IDF بالأرقام، لكن الفائدة الحقيقية تكمن في قراءتها. فالكلمات الأعلى درجة تكشف موضوع كل مستند فعليًا.

يمثل كل صف في المصفوفة مستندًا واحدًا، ويمثل كل عمود كلمة واحدة. وللعثور على المصطلحات الأساسية، افحصوا صفًا واحدًا بحثًا عن أعلى القيم.

استخرجوا المستند الذي يهمكم وحوّلوه إلى مصفوفة مسطحة. ويحتوي هذا المتجه على وزن TF-IDF لكل كلمة في المفردات.

اربطوا كل وزن بكلمته باستخدام أسماء السمات. وهكذا تصبح كل درجة مرتبطة بالمصطلح الذي تنتمي إليه فعلًا.

رتّبوا تلك الأزواج من أعلى درجة إلى أدناها. فالكلمات التي تتصدر القائمة هي أكثر المصطلحات تميّزًا في هذا المستند.

نادرًا ما تحتاجون إلى أكثر من بضع كلمات. ويمنحكم اقتطاع النتائج الأولى ملخصًا سريعًا سهل القراءة للمستند. 🏆

تعمل تلك المصطلحات الأولى بوصفها كلمات مفتاحية تلقائية لوضع الوسوم أو البحث أو إنشاء تسمية سريعة للموضوع من دون جهد يدوي.

طبّقوا الحيلة نفسها على كل صف، فتحصلون على بصمة لكل مستند. وتكشف مقارنة هذه البصمات النصوص المتشابهة.

إذا احتلت الرموز الغريبة مراتب مرتفعة، فنصكم يحتاج إلى مزيد من التنظيف أولًا. فالكلمات المفتاحية القوية تعتمد على المعالجة المسبقة قبل TF-IDF.

يتيح قياس التداخل بين متجهي TF-IDF إجراء بحث بسيط عن التشابه. وتحصل المستندات التي تتشارك كلمات ذات أوزان مرتفعة على درجة تطابق عالية.

تستخرجون الآن، عبر بضعة أسطر، الكلمات التي تحدد أي مستند. ويُعد مستخرج الكلمات المفتاحية هذا جزءًا مفيدًا فعلًا من NLP. ⭐

رتبتم صف TF-IDF، وطابقتم الدرجات بالكلمات، واستخرجتم الكلمات المفتاحية الأولى. وتدعم الفكرة نفسها وضع الوسوم والبحث عن التشابه. ✅