دراسة تكشف ضعف الذكاء الاصطناعي في فهم النصوص الطويلة

 كشفت دراسة حديثة أجراها باحثون من جامعة لودفيغ ماكسيميليان في ميونخ ومركز ميونخ للتعلم الآلي وأدوبي للأبحاث عن نقطة ضعف غير متوقعة في نماذج الذكاء الاصطناعي اللغوية، حيث تواجه صعوبة في استيعاب المستندات الطويلة عند غياب التطابق الحرفي بين الكلمات.

على عكس البشر الذين يعتمدون على ربط الأفكار بين الأقسام المختلفة عند قراءة النصوص الطويلة، تعتمد نماذج الذكاء الاصطناعي على آلية “الانتباه”، التي تعمل بكفاءة مع النصوص القصيرة ولكن تفقد فعاليتها عند التعامل مع المحتوى المطول، مما يؤثر سلبًا على دقة الفهم والاستنتاجات.

لتقييم هذه المشكلة، ابتكر الباحثون معيارًا جديدًا أطلقوا عليه اسم NOLIMA، وهو مصمم لاختبار قدرة النماذج على استيعاب المعلومات دون الحاجة إلى تطابق حرفي بين الكلمات. أظهرت النتائج أن الأداء ينخفض بشكل ملحوظ مع زيادة طول النصوص، حيث يبدأ التراجع بعد تجاوز 2000 كلمة، بينما يصل الانخفاض إلى النصف تقريبًا عند التعامل مع نصوص تصل إلى 32000 كلمة، أي ما يعادل كتابًا قصيرًا.

شملت الدراسة نماذج ذكاء اصطناعي بارزة مثل GPT-4o وGemini 1.5 Pro وLlama 3 70B. أظهر GPT-4o قدرة على الاحتفاظ بأدائه الجيد حتى 8000 رمز، أي ما يقارب 6000 كلمة، لكنه بدأ يفقد كفاءته تدريجيًا بعد هذا الحد. في المقابل، واجهت نماذج Gemini 1.5 Pro وLlama 3 70B انخفاضًا في الأداء بعد 2000 رمز فقط.

ووفقًا لاختبار NOLIMA، فإن هذه النماذج تعاني عند محاولة:

• ربط المفاهيم المختلفة عند استخدام مصطلحات متنوعة.
• تنفيذ سلاسل التفكير المعقدة بشكل صحيح.
• تجاهل التشابهات المضللة الناتجة عن الكلمات المتطابقة التي لا ترتبط بالسياق.

وتشير الدراسة إلى أن الإعلانات التي تروّج لقدرة الذكاء الاصطناعي على معالجة النصوص الطويلة قد تكون مضللة، حيث يتراجع الأداء الفعلي قبل بلوغ الحدود النظرية التي تعلنها الشركات.

هذا الضعف يطرح تحديات كبيرة في المجالات الحساسة مثل تحليل السجلات الطبية أو مراجعة المستندات القانونية، حيث قد تفشل النماذج في العثور على معلومات مهمة إذا لم تتطابق صياغتها الحرفية مع استعلام المستخدم.

ولتفادي هذه المشكلة، ينصح الباحثون المستخدمين باتباع استراتيجيات مثل تقسيم المستندات الطويلة إلى أجزاء أصغر، وكتابة استفسارات واضحة، والتحقق من صحة المعلومات التي تقدمها النماذج، خصوصًا في المهام التي تتطلب دقة عالية.

وتسلط الدراسة الضوء على الحاجة إلى إعادة التفكير في كيفية تعامل نماذج الذكاء الاصطناعي مع النصوص الطويلة، حيث كلما زاد طول النص، ازدادت صعوبة تتبع الأفكار وربطها ببعضها. وعلى الرغم من التحسينات المستمرة التي تجريها الشركات التقنية، لا يزال البشر متفوقين عندما يتعلق الأمر باستيعاب المعاني العميقة وتحليل النصوص المطوّلة بدقة.