benchr
تصنيف نماذج الذكاء الاصطناعي للبرمجة
كل نموذج في فهرس benchr مرتّب حسب درجة SWE-bench Verified — البنشمارك المعياري للإصلاح المستقل للأكواد على مشكلات GitHub حقيقية. الأعلى أفضل. الأرقام الرسمية حيث نُشرت؛ والتقديرات التحريرية فيما عدا ذلك.
| المرتبة | النموذج | المزوّد | SWE-bench Verified | الإدخال $/1M | الجودة لكل دولار |
|---|---|---|---|---|---|
| #1 | Claude Opus 4.8 | Anthropic | 88.6% | $5.00 | 17.7/$ |
| #2 | Claude Opus 4.7 | Anthropic | 87.6% | $5.00 | 17.5/$ |
| #3 | GPT-5.5 | OpenAI | 84.0% | $5.00 | 16.8/$ |
| #4 | Gemini 3.5 Flash | 80.6% | $1.50 | 53.7/$ | |
| #5 | Gemini 3.1 Pro | 80.6% | $2.00 | 40.3/$ | |
| #6 | DeepSeek V4-Pro | DeepSeek | 80.6% | $0.435 | 185.3/$ |
| #7 | Kimi K2.6 | Moonshot AI | 80.2% | $0.950 | 84.4/$ |
| #8 | Claude Sonnet 4.6 | Anthropic | 79.6% | $3.00 | 26.5/$ |
| #9 | DeepSeek V4-Flash | DeepSeek | 79.0% | $0.140 | 564.3/$ |
| #10 | Mistral Medium 3.5 | Mistral | 77.6% | $1.50 | 51.7/$ |
| #11 | Qwen3.6-27B | Alibaba | 77.2% | مجاني | ∞ (مجاني) |
| #12 | GPT-5 | OpenAI | 74.9% | $1.25 | 59.9/$ |
| #13 | Claude Haiku 4.5 | Anthropic | 73.3% | $1.00 | 73.3/$ |
| #14 | Grok 4.3 | xAI | 68.0% | $1.25 | 54.4/$ |
| #15 | Llama 4 Maverick | Meta | 66.0% | مجاني | ∞ (مجاني) |
| #16 | Mistral Large 3 | Mistral | 62.0% | $0.500 | 124.0/$ |
| #17 | Llama 4 Scout | Meta | 56.0% | مجاني | ∞ (مجاني) |
| #18 | GPT-5 Mini | OpenAI | 48.0% | $0.250 | 192.0/$ |
| #19 | Phi-4 | Microsoft | 30.0% | مجاني | ∞ (مجاني) |
ما الذي يقيسه SWE-bench Verified فعلاً
يضع SWE-bench أمام النموذج مشكلة GitHub وقاعدة أكواد المستودع. على النموذج أن يحدد الخطأ، ويكتب إصلاحاً، ويجعل ذلك الإصلاح يجتاز مجموعة اختبارات المستودع — تلقائياً، دون توجيه بشري. تزيل المجموعة الفرعية «Verified» المشكلات الغامضة التي يمكن إصلاحها بطرق متعددة، مما يجعل الدرجات أكثر موثوقية.
ما لا يقيسه: السرعة، أو زمن الاستجابة، أو المهام غير البرمجية، أو سلوك النموذج حين يشرف عليه مطور بنشاط. نموذج يحقق 75% على SWE-bench قد يكون ممتازاً للبرمجة الثنائية حتى لو كان نموذج 88% أفضل لخطوط الإنتاج المستقلة بالكامل. الدرجة أكثر دلالة حين يكون البشر خارج الحلقة.
قراءة التصنيف: بُعد التكلفة
يتصدّر Claude Opus 4.8 على SWE-bench الخام بنسبة 88.6%، لكنه يكلف $5/1M إدخال. ويحقق DeepSeek V4-Pro نسبة 80.6% بسعر $0.435/1M. ويحقق Claude Haiku 4.5 نسبة 73.3% بسعر $1/1M. يعرض الجدول أعلاه عمود «الجودة لكل دولار» — درجة SWE-bench مقسومة على سعر الإدخال — لإبراز النماذج التي تكون فيها قيمة العرض أقوى. ويتصدّر DeepSeek V4-Pro وDeepSeek V4-Flash هذا المقياس المشتق باستمرار.
للإصلاح المستقل للأكواد على نطاق واسع، السؤال المهم ليس فقط «من يحقق أعلى درجة» بل «عند أي معدل فشل تكلّف فجوة الجودة أكثر من فجوة السعر». راجع مقارنة GPT-5 مقابل Opus 4.8 لذلك التحليل.
المنهجية
درجات SWE-bench Verified من تقديمات المزوّدين الرسمية حيث نُشرت. وحين لا يقدّم مزوّد نتائجه، يستخدم benchr تقديراً تحريرياً مبنياً على بنشماركات مرتبطة وتقييمات داخلية مُفصح عنها. والتقديرات موسومة بنجمة في الجدول. أسعار الإدخال من وثائق API الرسمية حتى 3 يونيو 2026.
كيف تتحقق من نموذج برمجة قبل التبديل
استخدم SWE-bench كمرشّح، لا كقرار نهائي. نموذج يصلح مشكلات مستودعات Python جيداً قد يتعثر مع monorepo بلغة TypeScript لديك، أو مع منظومة اختباراتك، أو مع شجرة اعتمادياتك، أو مع قيود الأسلوب الداخلية لديك. قبل الترحيل، شغّل النموذج المرشّح على أخطاء حديثة سبق لفريقك إصلاحها وتحقق هل كان إصلاحه سيجتاز المراجعة.
أقوى مقياس إنتاجي هو تكلفة الإصلاح المقبول: إنفاق التوكنز زائد المحاولات الفاشلة زائد وقت مراجعة المهندس. إذا احتاج نموذج أرخص إلى ضعف عدد المحاولات، فقد يكون النموذج الأعلى درجة أقل تكلفة عملياً. وإذا كان كل إصلاح يراجعه مطور على أي حال، فقد يكون النموذج المتوسط هو الافتراضي الأفضل حتى حين يتصدّر Opus البنشمارك.
لماذا تهم ملاءمة المستودع
تتفاوت نماذج البرمجة حسب اللغة، وحجم المستودع، وجودة الاختبارات، ومقدار السياق المحيط الذي تحتاجه. قد تخفي درجة البنشمارك تلك الفروق. قبل نقل الحركة، اختر عينة من مشكلات مستودعاتك الخاصة: خطأ بسيط واحد، ومشكلة اعتمادية واحدة، وإعادة هيكلة واحدة، واختبار فاشل واحد بسجلات مضلِّلة، ومشكلة واحدة تتطلب قراءة الوثائق. هذه المجموعة الصغيرة تكشف أنماط الفشل أسرع من تصنيف عام.
تحقق أيضاً من سلوك الأدوات. بعض النماذج تكتب إصلاحات ممتازة لكنها تتعثر مع أوامر الطرفية، أو التنقل بين الملفات، أو رسائل الـ commit الموجزة. إذا كان وكيل البرمجة لديك يعتمد على تلك السلوكيات، فقيّم سير العمل الكامل بدل الإصلاح النهائي فقط.
نقطة عملية أخيرة: احتفظ بمجموعة انحدار صغيرة بعد اختيار نموذج. قد تغيّر نماذج البرمجة سلوكها حين يُحدّث المزوّدون التوجيه، أو إعدادات الاستدلال، أو أسماء النماذج البديلة. إعادة تشغيل شهرية على نفس المشكلات ستخبرك هل ما زال النموذج يستحق مكانه في خط إنتاجك.
أسئلة شائعة
ما هو SWE-bench Verified؟
SWE-bench Verified بنشمارك يضع أمام النماذج مشكلات GitHub حقيقية من مستودعات Python مفتوحة المصدر. على النموذج أن يحدد المشكلة، ويكتب الإصلاح، ويجتاز مجموعة الاختبارات القائمة دون سقالات أو تلميحات. تستبعد المجموعة الفرعية «Verified» المشكلات الغامضة أو ناقصة التحديد لتصنيف أنظف. وهو يُعدّ على نطاق واسع أفضل إشارة عامة على قدرة البرمجة المستقلة.
ما أفضل نموذج للبرمجة في 2026؟
Claude Opus 4.8 يتصدّر بنسبة 88.6% على SWE-bench Verified. أما للفرق ذات قيود التكلفة، فيحقق DeepSeek V4-Pro نسبة 80.6% بجزء بسيط من السعر. الاختيار بينهما هو إلى حد كبير قرار يوازن بين التكلفة وأقصى جودة.
لماذا تُوسَم بعض درجات SWE-bench كتقديرات؟
لا يقدّم كل المزوّدين نتائجهم إلى تصنيف SWE-bench الرسمي. وحين لا ينشر مزوّد نتيجة SWE-bench رسمية، يستخدم benchr تقديراً تحريرياً مبنياً على بيانات البنشمارك المتاحة والدرجات المرتبطة. والأرقام المقدّرة موسومة بذلك.