حين ينكسر
وصف الرسم البياني وصفًا صحيحًا ثم أخطأ في الرقم
ويُسأل أيضًا الذكاء الاصطناعي يخطئ في قراءة الرسوم · اخترع قيمة من الرسم · رقم خاطئ من صورة جدول · يرى لوحة البيانات ولا يقرؤها
السبب موثّق من مزوّد أو ورقة منشورة لم يختبره benchr أول تسجيل آخر فحص
ما الذي يحدث فعلًا
وصف الرسم وقراءة قيمة دقيقة منه عملان مختلفان. الأول تلخيص، والثاني يتطلّب تحديد نقطة مقابل محور.
لماذا
- اختبار بُني حول هذا تحديدًا وجد أن الاستدلال البصري على المحتوى المعروض، لا النقر والكتابة، هو الفشل الغالب لدى وكلاء المتصفّح.
- واقترب الأداء من الصفر في استخراج القيم الدقيقة من الرسوم والجداول، حتى لدى وكلاء تنقّلوا في المواقع باقتدار.
- الوصف الواثق للرسم ليس دليلًا على قراءة القيمة، بل دليل على التعرّف على الرسم.
الإصلاح السريع
أعطه الأرقام لا صورة الأرقام. ملف CSV أو الجدول الأصلي أو نقطة البيانات يلغي الخلل كله.
الإصلاح الحقيقي
صمّم الخطوة بحيث لا تُقرأ قيمة من صورة أبدًا: صدّر البيانات، أو اجعل النموذج يكتب كودًا يقرأ المصدر، واحتفظ بالصورة للسياق فقط.
خطوة خطوة
- اسأل أين توجد البيانات الأصلية قبل أن تطلب من النموذج النظر إلى صورتها.
- إن لم تتوفر إلا صورة، فاطلب تسميات المحاور وقيم خطوط الشبكة أولًا ثم النقطة، وافحصها.
- قابل أي رقم مستخرج بمصدر ثانٍ قبل أن يدخل مستندًا.
- فضّل «اكتب كودًا يحلّل هذا الملف» على «اقرأ لقطة الشاشة هذه».
- عامل أي رقم وصل عبر لقطة شاشة كأنه غير مُتحقَّق حتى تراه في المصدر.
مستند إلى
- في أصعب مهام الويب، ينهي البشر 10%. وأفضل وكيل ينهي 8%.النتيجة القريبة من الصفر في قراءة القيم الدقيقة من الرسوم والجداول نتيجة ورقة CAP نفسها.