شرکت AMD پشتیبانی رسمی از مدل هوش مصنوعی Gemma 4 گوگل رو به تمام چیپهای گرافیکی و CPUهاش اضافه کرده تا کاربران امکان استفاده از این مدل هوش مصنوعی فشرده رو داشته باشن. این پس از معرفی مدلهای خانواده Gemma 4 گوگل اعلام شد که در اندازههای مختلفی از ۲ میلیارد تا ۳۱ میلیارد در دسترسن. با بنچفا تا پایان این خبر همراه باشید.
اعلام رسمی AMD از پشتیبانی مدل Gemma گوگل
AMD در بیانیه خودش گفته که پردازندههای گرافیکی AMD Instinct برای دیتاسنترهای ابری و سازمانی، پردازندههای گرافیکی AMD Radeon برای سیستمهای اداری (Workstations) هوش مصنوعی و پردازندههای AMD Ryzen AI برای کامپیوترهای شخصی (AI PCs) حالا از Gemma 4 پشتیبانی میکنن.
نحوه اجرای Gemma 4 روی پردازندههای AMD
مدلهای Gemma 4 رو میتونید از طریق پروژه منبعباز llama.cpp و LM Studio روی سختافزارهای AMD اجرا کنید. با دانلود اپلیکیشن محبوب LM Studio و نصب آخرین درایورهای AMD، میتونید این مدلها رو روی سختافزارهای پشتیبانیشده راهاندازی کنید.
برنامه Lemonade Server هم امکان اجرای مدلهای Gemma 4 روی سختافزار AMD از طریق یک سرور محلی اوپن سورس (برای مدلهای زبانی بزرگ) با APIهای سازگار با OpenAI فراهم میکنه. راههای متفاوت دیگری هم برای اجرای مدلهای Gemma 4 روی پردازندههای AMD وجود داره که یکی از اونها vLLMـه. این ابزارها بهصورت یک ایمیج Docker یا یک پکیج قابل نصب پایتون و با استفاده از دستورالعملهای سایت https://vllm.ai/ قابل نصبن.
docker pull vllm/vllm-openai-rocm:gemma4
برای تمامی پردازندههای گرافیکی AMD، میشه vLLM رو با بکاند TRITON_ATTN اجرا کرد:
vllm serve vllm/vllm-openai-rocm:gemma4 --attention-backend TRITON_ATTN
همچنین میشه مدلهای Gemma 4 را با استفاده از ابزار SGLang روی پردازندههای گرافیکی AMD MI300X/MI325X/MI35X اجرا کرد. SGLang از خانواده کامل مدلهای Gemma 4، شامل مدلهای متراکم (E2B, E4B, 31B) و نسخه MoE (با مشخصات 26B-A4B) پشتیبانی میکنه.
