ما هو التوكن في ChatGPT؟

التوكن هو أصغر وحدة نصية يعالجها نموذج الذكاء الاصطناعي. ليس كلمة كاملة بالضرورة بل جزءًا من كلمة أو كلمة كاملة حسب طريقة التقسيم. تُحسب تكلفة الاستخدام بناءً على عدد التوكنز وليس عدد الكلمات. النص العربي يستهلك توكنز أكثر من الإنجليزي بسبب طبيعته الصرفية.

كيف تُحسب تكلفة الذكاء الاصطناعي تحديداً ChatGPT API؟

لحساب تكلفة api الذكاء الاصطناعي أو ChatGPT API عبر ضرب عدد توكنز الإدخال في سعر الإدخال ثم إضافة عدد توكنز الإخراج مضروبًا في سعر الإخراج. المعادلة المباشرة: (توكنز الإدخال × سعر الإدخال) + (توكنز الإخراج × سعر الإخراج) الإخراج غالبًا أغلى من الإدخال لذلك الإجابات الطويلة ترفع الفاتورة بسرعة.

ما هي Context Window في نماذج الذكاء الاصطناعي؟

نافذة السياق Context Window هي الحد الأقصى لعدد التوكنز التي يمكن للنموذج معالجتها في طلب واحد. تشمل: سؤالك المحادثة السابقة الملفات المرفقة إجابة النموذج إذا تم تجاوز الحد يتم حذف الأجزاء الأقدم من السياق.

هل ينسى نموذج GPT المحادثة؟

نموذج GPT لا يملك ذاكرة دائمة. في كل طلب جديد يتم إرسال كامل المحادثة من البداية. عند امتلاء نافذة السياق يتم حذف الأجزاء الأقدم تلقائيًا. لهذا يبدو وكأنه “ينسى”.

ما الفرق بين التوكن والكلمة في نماذج الذكاء الاصطناعي؟

التوكن ليس كلمة بالضرورة؛ بل هو وحدة معالجة تقنية قد تكون حرف أو جزء من كلمة. في اللغة الإنجليزية الـ 1000 كلمة تساوي تقريباً 1333 توكن بينما في اللغة العربية يرتفع الاستهلاك بشكل كبير ليصل إلى حوالي 3 توكنز لكل كلمة واحدة بسبب تعقيد اللغة.

ما هو الفرق التقني بين الـ TPM والـ RPM في حدود API الذكاء الاصطناعي؟

الـ RPM (Requests Per Minute) يحدد عدد الطلبات التي يمكنك إرسالها في الدقيقة بينما الـ TPM (Tokens Per Minute) يحدد إجمالي عدد التوكنز (إدخال وإخراج) المسموح بمعالجتها في الدقيقة. بالنسبة للمشاريع الضخمة الـ TPM هو العائق الأهم؛ فإذا كنت تعالج ملفات كبيرة قد تستهلك حصتك بطلبين فقط حتى لو كان الـ RPM لديك يسمح بـ 3,500 طلب.