يسجّل نتائج باهرة في العرض التجريبي ويسقط في عملي الحقيقي

ما الذي يحدث فعلًا

أنت تقارن رقمًا قيس على مجموعة ثابتة بعمل ليس في تلك المجموعة. الفجوة ليست تضليلًا، بل هي الفرق بين الاثنين.

لماذا

• اختبارات الوكلاء المنشورة تُبنى ثم يُحسَّن عليها. والفريق الذي يضبط في حلقة مقابل مجموعة تقييمه يسمّي فرط التخصيص ميلًا طبيعيًا للحلقة، ويحتجز مجموعة تحقّق خصيصًا لكشفه.
• تغفل الاختبارات أصعب أشكال العمل. ويضرب منشور أحد الفرق مثالًا لا يقيسه شيء حاليًا: «استخرج 1000 منتج بصفحاتها الفرعية وقارنها عبر المنصّات».
• وعلى اختبار مبني حول عمل واقعي عابر للمواقع، تنهي الوكلاء نفسها التي تتصدّر قوائم أسهل بين 2% و8% من المهام.

خطوة خطوة

1. اكتب عشر مهام حقيقية بتعريف قابل للفحص لمعنى «تمّت».
2. قسّمها: بعضها تكرّر عليه، وبعضها لا تنظر إليه أثناء الضبط.
3. أعد تشغيل النصف المحجوز بعد كل تغيير في الأمر أو الأداة أو النموذج.
4. سجّل الإخفاقات لا النتيجة وحدها؛ قائمة الإخفاق هي ما يدلّك على ما تصلحه.
5. أعد تشغيل المجموعة كاملة عند تغيّر إصدار النموذج، فالترقية الصامتة تُبطل الرقم القديم.