benchrمخطّط الذكاء الاصطناعي المحلي · افتراضات ظاهرة
ما الذي يستطيع جهازي تشغيله؟
اختر الذاكرة التي تقيد إعدادك المحلي فعلًا. تفصل النتيجة بين هامش تخطيط مريح، وتحميل ضيق، وإعداد لا نوصي به. لا تدّعي سرعة أو جودة للنموذج.
خطّط لإعداد البداية
يتغير الرابط مع كل اختيار. شاركه كبداية لمناقشة التخطيط، ثم تحقق من الملف وبيئة التشغيل المحددين قبل اعتماد النتيجة كقرار نشر.
جارٍ تحميل المخطّط المرتبط بالمصادر…
المنهج والحدود
هذه أداة تخطيط متحفظة عمدًا، لا بنشمارك عالمي متخيّل.
المعادلة تظهر في كل نتيجة
للسجلات التي لا تحمل رقم ذاكرة Q4 رسميًا، تكون أوزان Q4 للتخطيط = إجمالي المعاملات × 0.5 GB. وهي حمولة الأوزان النظرية بأربع بتات بوحدة غيغابايت عشرية. تتطلب الأداة 2 GB من الهامش المتبقي عند 4K، و3 GB عند 8K، و6 GB عند 32K، و12 GB عند 128K. هذه حدود سياسة معلنة من benchr، وليست أرقامًا من المزوّدين.
لماذا تهم الحدود والتحفظات؟ الأوزان مكوّن واحد فقط. حواجز بيئة التشغيل ومخبأ KV وتقسيم طبقات GPU واستخدام نظام التشغيل وإصدار النموذج وبيانات التكميم وشكل البرومبت قد تغيّر النتيجة الفعلية. «مريح» تعني فقط أن الفحص المحدود يترك هامشه الظاهر؛ ولا تعني سريعًا أو ثابتًا أو عالي الجودة.
قبل أن تتصرف بناءً على النتيجة
لماذا لا يظهر نموذجي المفضل «مريحًا»؟
قد يكون أكبر من الذاكرة المحددة بعد احتساب أوزان Q4، أو قد لا يبلغ الهامش المتبقي الحد المحدد للسياق. النتيجة الضيقة أو غير الموصى بها لا تثبت أنه لن يعمل أبدًا؛ لكنها تعني أن benchr لن يصف الإعداد كخيار افتراضي سليم.
هل تعمل الذاكرة الموحّدة من Apple مثل VRAM؟
لا. تستخدم الأداة الحجم المحدد كحد لفحص شفاف للأوزان والهامش، لا كادعاء بأن الذاكرة الموحّدة تتصرف مثل VRAM المنفصل. عرض النطاق وضغط الذاكرة وبيئة التشغيل والتطبيقات الأخرى كلها مهمة.
هل يغيّر طول السياق النتيجة؟
نعم. السياقات الأكبر تحتاج ذاكرة مخبأ أكثر، وبعض النماذج تعلن حدًا ممتدًا فقط مع إعداد خاص. يرفع المخطّط حد الهامش الظاهر عند 32K و128K وينبه عند طلب سياق يتجاوز الحد الأصلي.