benchrالدليل العملي
من بريد الدعم إلى إجابات قِست فعلًا
قبل إرسال أي رد إلى عميل، يمرّ خط المعالجة نفسه على تذاكر قديمة تُعرف إجابتها الصحيحة سلفًا.
6 مراحل يومان لبناء المقيِّم، ثم تشغيل مستمر واجهة Claude البرمجية · واجهة OpenAI البرمجية مكتمل
كل مرحلة تسمّي ما يدخلها وما تفعله ولماذا تقع هنا وما يخرج منها، والسلسلة تقول أين تنكسر.
لم يشغّل benchr هذه القدرات بنفسه. كل مرحلة تشير إلى سجل يصف ما يوثّقه مزوّد، مقروءًا في التاريخ المذكور.
- 01
التقسيم
عملك أنت- تبدأ بـ
- أرشيف التذاكر المغلقة، ومع كل تذكرة الرد الذي أغلقها
- لماذا هذه المرحلة
- يُصمَّم سجل الإجابة ويُضبط الموجّه من هذه التذاكر، والنصف الذي يُقرأ في أثناء ذلك لا يصلح للحكم على ما شارك في صياغته.
- افعل هذا
- اقسم التذاكر المغلقة نصفين، واعزل أحدهما ليُشغَّل ولا يُضبط عليه.
- تنتهي بـ
- نصف للضبط ونصف محجوز
- تبدأ بـ
- تذكرة مغلقة واحدة من نصف الضبط وصفحة السياسة التي تجيب عنها
- لماذا هذه المرحلة
- الحقل الذي ليس في المخطط ليس في الإجابات، والإجابات هي كل ما يصل إلى المقيِّم.
- افعل هذا
- عرّف سجل الإجابة: الرد، والمصدر الداخلي المستشهد به، وحقل ثقة يجب على النموذج ملؤه.
- تنتهي بـ
- مخطط يجب أن تستوفيه كل إجابة
ما الذي يخطئ هنا
- تبدأ بـ
- نصفا المجموعة، ووثائق السياسة، والمخطط
- لماذا هذه المرحلة
- لا أحد ينتظر ردًا على تذكرة أُغلقت من قبل، وهذا شرط المسار غير المتزامن، ولا يتحقّق في مسار يواجه المستخدم.
- افعل هذا
- شغّل خط المعالجة على بضع مئات من التذاكر المغلقة بشكل غير متزامن.
- تنتهي بـ
- إجابات مرشّحة لحالات تُعرف نتائجها
- تبدأ بـ
- الإجابات المرشّحة والردود التي أغلقت تلك التذاكر
- لماذا هذه المرحلة
- الترقية الصامتة للنموذج تُبطل الرقم القديم، فيلزم أن يكون التقييم برنامجًا يُعاد تشغيله لا جلسة قراءة يدوية.
- افعل هذا
- قِس المرشّحات مقابل الحلول المعروفة واحسب توزيع الإخفاق لا المتوسط.
- تنتهي بـ
- تقرير تقييم بحسب نوع التذكرة
ما الذي يخطئ هنا
- تبدأ بـ
- الموجّه بعد أن كففت عن تعديله، وتقرير التقييم من التشغيلة الأخيرة
- لماذا هذه المرحلة
- سجل الطريقة يحذّر من أن تقديم الثابت إلى مقدمة الموجّه قد يغيّر السلوك؛ فإن جاءت هذه المرحلة قبل تقرير التقييم لم يبقَ رقم يقيس أثر إعادة الترتيب.
- افعل هذا
- انقل وثائق السياسة والأمثلة إلى البادئة المخزَّنة بعد أن يستقر الموجّه.
- تنتهي بـ
- خط المعالجة نفسه بجزء يسير من كلفة الإدخال
ما الذي يخطئ هنا
- تبدأ بـ
- الموجّه بعد التخزين، والنصف المحجوز، وتقرير التقييم المحفوظ
- لماذا هذه المرحلة
- آخر رقم قِسته كان قبل تحريك البادئة. والسجل نفسه الذي يحمل التحذير يقول: أعد تشغيل المجموعة المحجوزة بعده.
- افعل هذا
- مرّر النصف المحجوز على الموجّه المخزَّن، وقِسه بالبرنامج نفسه.
- تنتهي بـ
- تقريران على التذاكر نفسها، قبل إعادة الترتيب وبعدها