benchr
تفصيل التسعير
| الطبقة | السعر / مليون توكن |
|---|---|
| إدخال قياسي | $1.00 |
| إخراج قياسي | $5.00 |
| إدخال مخزّن | $0.10 |
| سعة السياق | 200,000 توكن |
| أقصى إخراج | 64,000 توكن |
كيف تقيس الكمون من دون رقم سرعة مختلق
لا تنشر بطاقة السعر العامة من Anthropic رقمًا موحدًا للتوكنات في الثانية لهذه المقارنة، ولم يجرِ benchr اختبار كمون مضبوطًا عبر المناطق. لذلك حُذفت قيمة التخطيط السابقة بدل إبقائها كتقدير تحريري.
اختبر النموذجين في منطقة النشر نفسها، وبالمطالبات وأطوال الإخراج والإعدادات والتزامن نفسها. سجّل زمن أول توكن وأزمنة الإكمال p50 وp95 وp99؛ هذه قياسات قابلة للاستخدام في تخطيط السعة، بخلاف رقم واحد بلا بروتوكول.
لا تستخدم التقدير لاستنتاج أفضلية كمون ثابتة، أو زمن التوكن الأول، أو نتيجة مضمونة لتجربة المستخدم، أو مضاعف سعة للدفعات. اختبر النموذجين في المنطقة المستهدفة بالمطالبات وأطوال الإخراج والتزامن نفسها، واستخدم القيم المئينية المرصودة للتخطيط الإنتاجي.
أين تخلق نتيجة 73.3% على SWE-bench حدودها
نتيجة Haiku 4.5 المنشورة من المزوّد على SWE-bench والبالغة 73.3% أدنى بست نقاط من 79.6% لـ Sonnet 4.6. لا يتحول هذا الفرق إلى «ست مشكلات أقل لكل 100» في الإنتاج، ولا يثبت أين ستظهر الفجوة، ولا يضمن معدل نجاح لأي من النموذجين. يدعم كلاهما أقصى إخراج 64 ألفًا، بينما يدرج Haiku سياق 200 ألف وSonnet سياق مليون. استخدم تقييمًا محجوزًا من مستودعاتك ومعايير فشلك.
سيناريوهات التكلفة
عند 50 مليون إدخال + 10 ملايين إخراج شهريًا — وهو حجم إنتاجي متوسّط: يكلّف Haiku 4.5 مبلغ 50$ + 50$ = 100$ شهريًا. وClaude Sonnet 4.6 عند نفس الحجم: 150$ + 150$ = 300$ شهريًا — أي ثلاثة أضعاف الكلفة. ومع إصابة تخزين 90% على Haiku: نحو 9.50$ + 50$ = 59.50$ شهريًا. لمنتج يوجّه 10,000 استفسار مستخدم يوميًا عبر خطوة تصنيف، يكون Haiku عند 100$ شهريًا مقابل Sonnet عند 300$ شهريًا فرقَ كلفة قدره 200$ شهريًا يتناسب طرديًا مع الحجم.
ملاءمة الاستخدام
مرشح لـ: التصنيف وكشف النية عالي الحجم؛ توجيه الاستجابة الأولى في خدمة العملاء؛ الاستخلاص من المستندات المنظّمة؛ والخطوط التي تكون فيها بطاقة السعر المنشورة جذابة. تحقّق من الإنتاجية وجودة المهمة قبل استخدامه لمحادثة حساسة للكمون.
قيّم طبقة أخرى أيضًا إن: تطلّبت مهامك توليد كود معقّد متعدّد الخطوات، أو استدلالًا على مستوى البنية، أو أكثر من 200 ألف توكن سياق، أو هدف كمون متحققًا بصورة مستقلة. لا تتنبأ فجوة SWE-bench وحدها بمعدل نجاحك الإنتاجي.
قائمة القرار
قبل اختيار Haiku بدلًا من Sonnet: شغّل عيّنة من مهامك الفعلية على كلا النموذجين وافحص تدهور الجودة في أنماط الفشل الخاصّة بك. إن كانت مجموعة مهامك تصنيفًا أو استخلاصًا صرفًا بمخرجات منظّمة، فالأرجح أنّ Haiku يكفي. وإن تضمّنت توليد كود أو استدلالًا مفتوحًا، فقِس معدّلات النجاح على الاثنين قبل الالتزام.
قارن طول الإخراج المطلوب بأقصى إخراج Haiku المنشور البالغ 64 ألفًا، وحجم الإدخال بسياقه البالغ 200 ألف. يملك Sonnet 4.6 أقصى الإخراج نفسه، لكنه يوسّع السياق إلى مليون توكن.