إلى أي مدى الذكاء الاصطناعي جي بي تي 3 صادقٌ في إجاباته؟

مساء الذكاء الاصطناعي،

تناولنا في مجتمع رديف الآونة الأخيرة وتفحصنا عن كثب عدة أدوات للكتابة بالاستعانة بالذكاء الاصطناعي، وهذه لمحة عن الجلسة:

لكي لا يفوتك شيء من حصصنا. اشترك اليوم في رديف.

واليوم سنتحدث بعون الله عن ورقة بحثية علمية تتفحص مدى صدق هذه النماذج المولِّدة للنصوص.

مقياس TruthfulQA لمعرفة مدى صدق النماذج اللغوية القائمة على الذكاء الاصطناعي

اقترح الباحثون في ورقتهم العلمية معيارًا لقياس ما إن كان أحد نماذج اللغات (نموذج قائم على الذكاء الاصطناعي يعطي مُخرجات لغوية) صادقًا في توليد إجابات صحيحة عن الأسئلة التي تطرح عليه أم لا.

ويتألف المعيار الذي طوّروه من 817 سؤالًا تندرج تحت 38 فئة منها الصحة والقانون وقطاع المالية والسياسة (انظر الصورة 1) وقد صاغ الباحثون الأسئلة بحيث أنه حتى بعض البشر سيجيبون عليها بصورة خاطئة بسبب أن لديهم اعتقادًا خاطئًا أو سوء فهم.

ولكي نعتبر أن نماذج اللغة القائمة على الذكاء الاصطناعي تبلي حسنًا (أي ذات أداء حسن) لا بد عليها أن تتجنب توليد إجابات خاطئة مُستقاة من تقليدها للنصوص البشرية.

في ورقتهم البحثية امتحن الباحثون النماذج اللغوية التالية: GPT-3 وGPT-Neo/GPT-J وGPT-2 ونموذجًا قائمًا على T5. وخَلُص الباحثون إلى أن أفضل نموذج كان صادقَ الإجابات في 58% فقط من الأسئلة، في حين كان أداء البشر 94%.

هذا وقد أنتجت النماذج العديد من الإجابات الخاطئة التي تحاكي المفاهيم الشائعة الخاطئة والتي تتسم بقدرتها على تضليل الناس.

ولاحظ الباحثون أن النموذج كلما كان أكثر بارامترات كان بصورة عامة أقلّ صدقًا.

على سبيل المثال، وجدنا أن نموذج GPT-J الذي لديه 6 مليارات بارامتر (والبارمتر هو مقدار قابل للتغير ويُترجم أحيانًا مَعلمًا)، كان أقل بنسبة 17% من حيث الصدق من نظيره الذي لديه 125 مليون بارمتر فقط. فإذا ما وضعنا الصدق جانبًا وجد الباحثون أنه وكلما كان عدد المَعلمات أكثر في النموذج تفوق على النموذج الذي لديه أقل في المهام الأخرى في معالجة اللغات الطبيعية (NLP)، لأنه عدا الصدق: يتحسن أداء النموذج كلما كان عدد مَعلماته أكثر. مع ذلك، كانت هذه النتيجة متوقعة إن كانت الإجابات الخاطئة مُستقاة من عمليات تدريب تلك النماذج.

ويرى الباحثون أن زيادة عدد مَعلمات النماذج لوحده لن يحسّن مدى صدقها، بدل ذلك يقترحون إجراء ضبط دقيق قائم على أهداف تدريبية لا تقتصر على محاكاة النصوص من الويب.

مقدمة

ما من شك أن هناك اهتمامًا متزايدًا لاستخدام نماذج اللغة لتوليد نصوص تُستخدم في مجالات عملية شتى. حيث تنشرُ الشركات الكبيرة نماذجها في الذكاء الاصطناعي، فيما تستخدم مئات المؤسسات والشركات الأصغر نموذج GPT-3 عبر واجهة برمجة التطبيقات والمُطوّر من قبل شركة أوبن إيه آي (OpenAI) وشركات أخرى.

ومع أن النماذج اللغوية الحديثة تتسم بطلاقة مثيرة للإعجاب، إلا أن لها ميلًا إلى توليد قضايا كاذبة. تتراوح هذه القضايا الكاذبة من قضايا ذات أخطاء طفيفة إلى ما يمكن وصفه بأنه هلوسات جامحة. وهذا يؤدي إلى ثلاثة مخاوف:

1. سوء الاستخدام العَرَضي. نظرًا لعدم وجود اختبارات تدقيق صارمة، تقدم النماذج الحالية قضايا كاذبة لمستخدميها. وهذا ما قد يؤدي إلى الخداع وانتفاء الثقة.
2. عدم القدرة على استخدامها في حالات نافعة من المعلوم أن مجال الطب أو القانون مثلًا لهما معايير عالية المستوى من الدقّة المطابقة للواقع. وهنا، حتى لو تمتعت النماذج بمعرفة ذات صلة بالمجال، فقد يتجنب الناس استخدامها دون دليل واضح ولا لبس فيه أن هذه النماذج صادقة لا تكذب ويمكن التعويل عليها.
3. سوء الاستخدام المُتعمد والخبيث. إن كان للنماذج قدرة على توليد قضايا كاذبة ومُقنعة، فمن المحتمل استخدامها لتضليل الناس بنشر المعلومات المُضللة أو الاحتيالات. على النقيض من ذلك، سيكون استخدام النماذج التي يُعوّل على صدقها لتضليل الناس أصعب على من يرغب بإساءة استخدامها.

وللتصدي لهذه المخاوف، من النافع أن يكون لنا أداة تقيّم مدى صدق هذه النماذج. على وجه الخصوص، أن يكون لنا ما يجيب على هذا السؤال: ما مدى ميل النماذج للإدلاء بقضايا كاذبة في جُملة متنوعة من السياقات وما مدى ميلها لإعطاء أجوبة زائفة على أسئلة منوعة؟ ذلك أن وجود مقياس أحسن سيساعدنا على إنشاء نماذج لغوية قائمة على الذكاء الاصطناعي أكثر صدقًا، كما سيعيننا كذلك على فهم مخاطر النماذج المُضللة.

طالع المزيد هنا إلى أي مدى الجي بي تي ثري صادق؟ معيار لتفحص صدق النماذج اللغوية.

الورقة البحثية كاملة: TruthfulQA: قياس إلى أي مدى تحاكي فيه النماذج أكاذيبَ البشر

---

أعجبك ما أصنعه من محتوى؟ تواصل معي الآن عبر واتساب. اضغط على الزرّ الأخضر

---

يونس يسأل: هل جرّبت نموذج جي بي تي ثري أم لا؟

---

حقوق الصورة البارزة: Photo by @huanshi on Unsplash