ما الرمز المميّز فعلًا؟

إن token هو أصغر وحدة نصية يتعامل معها كودك. قبل إجراء أي تحليل، تقسّم الجملة إلى هذه الأجزاء الصغيرة. 🧩

غالبًا ما يكون token مجرد word. فالجملة I love cats تصبح ثلاثة رموز: I وlove وcats.

يمكن أن تكون علامة الترقيم رمزًا مستقلًا. فعند تقسيم Hi, there! تحصل على Hi، والفاصلة comma، وthere، وعلامة التعجب كأجزاء منفصلة.

لا تستطيع الحواسيب قراءة الجملة ككتلة واحدة. يحوّل Tokenizing النص الفوضوي إلى قائمة منظمة يستطيع برنامجك عدّ عناصرها ومقارنتها.

توجد الرموز في Python عادةً داخل list من السلاسل النصية. وهذه القائمة هي نقطة البداية لكل مهمة NLP تقريبًا ستبنيها.

الرموز هي unit التي يقيس بها NLP كل شيء. فعدّ الكلمات والمفردات والميزات يبدأ من هذه الفكرة الأساسية.

ليس token دائمًا كلمة كاملة. فكثيرًا ما تستخدم النماذج الحديثة subwords، فتقسّم unhappiness إلى un وhappi وness للتعامل مع الكلمات النادرة.

ماذا عن don't؟ قد يقسّمه محلّل رموز ذكي إلى do وn't، لأن ذلك يكشف الكلمة المخفية not.

لا تقتصر الرموز على الأحرف. فالأسعار مثل $5 والسنوات مثل 2024 هي tokens أيضًا، وطريقة تقسيمها مهمة جدًا.

تُسمّى عملية تقسيم النص إلى رموز tokenization. وهي أول خطوة فعلية في كل مسار NLP تقريبًا ستكتبه.

لا توجد طريقة صحيحة واحدة لتقسيم الرموز. فـrules التي تختارها تؤثر في كل عدّ ونتيجة لاحقة، ولذلك تستحق تفكيرًا جديًا.

تعلّمت أن token هو الوحدة الأساسية للنص: قد يكون كلمة أو رمزًا أو حتى جزءًا من كلمة. يقسّم Tokenization النص إلى قائمة منظمة لمعالجتها.