vLLM
كرتين MI50 (الجزء الثاني): من 10 إلى 74 توكن بالثانية، وكونتكست 200 ألف توكن، وكيرنلين للـ attention
كيف صلّحت DFlash2 على كروت MI50 (مشكلتين خلّت القبول صفر)، وكتبت كيرنلات مخصصة رفعت السرعة لـ 74 توكن بالثانية، ووصلت كونتكست 200 ألف توكن لـ Hermes و opencode، وكتبت كيرنلين للـ attention خلّوا هالكونتكست سريع، وجهزت التصليحات كـ PR للمشروع.
الوسوم:
vLLM, AMD MI50, ROCm, gfx906, Qwen, Speculative Decoding, Claude Code
Sami
Sami
مدة القراءة: 10 دقائق
تشغيل كرتين MI50 16GB مع vLLM: المشكلة والحل
تشغيل كرتين MI50 16GB مع vLLM: من مشكلة RCCL إلى مذربورد X99-F8D Plus، وتشغيل Qwen3.8 27B بسرعة 21 توكن بالثانية بدون MTP، و74-81 توكن بالثانية مع DFlash2.
Sami
Sami
مدة القراءة: 4 دقائق