Speculative Decoding
كرتين MI50 (الجزء الثاني): من 10 إلى 74 توكن بالثانية، وكونتكست 200 ألف توكن، وكيرنلين للـ attention
كيف صلّحت DFlash2 على كروت MI50 (مشكلتين خلّت القبول صفر)، وكتبت كيرنلات مخصصة رفعت السرعة لـ 74 توكن بالثانية، ووصلت كونتكست 200 ألف توكن لـ Hermes و opencode، وكتبت كيرنلين للـ attention خلّوا هالكونتكست سريع، وجهزت التصليحات كـ PR للمشروع.
الوسوم:
vLLM, AMD MI50, ROCm, gfx906, Qwen, Speculative Decoding, Claude Code
Sami
Sami
مدة القراءة: 10 دقائق