benchr
اتجاه الترجمة والسجل والجمهور والمجال متغيرات مستقلة. لا ينبغي أن يشترك بريد قصير بالفصحى، ومحادثة دعم خليجية، وعقد، ونص كلاسيكي في درجة واحدة. قد تساعد المواصفات العامة في تحديد المرشحين، لكنها لا تثبت جودة اللهجة أو الفائز على موادك.
مرشحون تحريريّون للاختبار
القائمة التالية فرضيات تحريرية وليست نتيجة مقارنة منشورة. تُدرج النماذج الحدّية المستضافة عندما تلائم خصائص السياق وسير العمل الموثقة المهمة. ويُدرج Qwen 3 وLlama 4 عندما تهم الأوزان المفتوحة أو الاستضافة المحلية أو الترخيص أو التحكم في التشغيل. ولا يجوز تعميم نتيجة إصدار مضبوط للترجمة على عائلة نموذج كاملة.
| المرشح | سبب موثق لإدراجه | ما يجب أن يحسمه الاختبار المحلي |
|---|---|---|
| Claude Opus 4.8 | نموذج مستضاف وسير عمل بسياق طويل موثق | المعنى والسجل والمصطلحات والأسماء والاتساق والكمون والتكلفة على ملفاتك |
| GPT-5.5 | نموذج مستضاف وسير API موثق من المزوّد | الاتجاهان وكل سجل إقليمي مطلوب |
| Gemini 3.1 Pro | سياق طويل وخيارات سير عمل Google موثقة | اتباع التعليمات وتغطية المصدر والسجل وملاءمة الخطة الحالية |
| Qwen 3 / إصدار الترجمة المحدد | قد يمنح النشر المفتوح أو المتخصص في الترجمة تحكماً أكبر في التشغيل | نقطة الحفظ ومجزئ الرموز وخادم التشغيل والترخيص نفسها التي ستنشرها |
| Llama 4 / نقطة الحفظ المحددة | قد يلائم النشر المفتوح متطلبات الاستضافة المحلية أو الحوكمة | نقطة الحفظ وبيئة التشغيل؛ لا نفترض ترتيباً عربياً لعائلة كاملة |
تقييم أعمى قابل للتكرار
- ثبّت الإعداد. سجل معرّف النموذج والتاريخ وأمر النظام والحرارة والأدوات والمسرد وقيود الإخراج. استخدم التعليمات والنص المصدر نفسيهما لكل مرشح.
- قسّم المجموعة إلى طبقات. ضمّن الاتجاهين والسجلات التي ستنشرها فعلاً: الفصحى والخليجية والمصرية والشامية والمغاربية، ومزج اللغات، والمصطلحات القانونية، والأسماء ونقلها بين الحروف، والنص الكلاسيكي أو الديني عند الحاجة.
- اعمِ المراجعة. رتّب المخرجات عشوائياً وأعد تسميتها حتى لا يعرف المراجعون المزوّد، واستعن بأكثر من مراجع في أحكام السجل الذاتية.
- قيّم معايير محددة. قِس حفظ المعنى والحذف والإضافة والمصطلحات والسجل والأسماء والتنسيق وتفضيل المراجعين. سجّل اختلاف المراجعين بدلاً من اختزاله في ادعاء فوز غير مسند.
- كرر وانشر. أعد عينة للتحقق من الثبات، وانشر مجموعة الاختبار والأمر ومعرّفات النماذج وسلم التقييم والمتوسطات واختلاف المراجعين والكمون والتكلفة كلّاً على حدة.
اختبارات الضغط الإلزامية
صرّح بالجمهور والبلد والسجل والمسرد واتفاقية نقل الأسماء. في النص القانوني أو الطبي أو الديني أو غيره من النصوص الحساسة، لا يغني تفضيل نموذج عن مراجعة خبير في المجال. وإذا لم تكن للهجة المطلوبة كتابة معيارية واسعة، فوثّق اختلاف المراجعين واختبر أمثلة حقيقية من جمهورها بدلاً من الاستدلال بمعايير الفصحى.
حجم نافذة السياق ليس دليلاً على جودة ترجمة الوثائق الطويلة. اختبر اتساق المصطلحات والمراجع المتقاطعة والحذف والتعامل مع انقطاع الإخراج على ملفات ممثلة. وإذا تجاوز الملف الحدود العملية، فاستخدم تقسيمًا مضبوطاً ومسرداً ثم تحقق من الاتساق بعد التجميع.