تبدیل کارت گرافیک به سرور هوش مصنوعی محلی با llama.cpp

llama-server -m "C:pathtoyour-model.gguf" --host 0.0.0.0 --port 8080

اجرای مدل‌های بزرگ‌تر از ظرفیت حافظه کارت گرافیک

یکی از قابلیت‌های مهم llama.cpp امکان تقسیم بار پردازشی بین حافظه کارت گرافیک و رم سیستم است. به این ترتیب، حتی اگر حجم مدل از ظرفیت VRAM بیشتر باشد، در برخی شرایط می‌توان آن را اجرا کرد.

به عنوان مثال، در یک سیستم مجهز به کارت گرافیک RTX 4070 Ti Super با ۱۶ گیگابایت حافظه و ۳۲ گیگابایت رم، یک مدل Qwen3.6-35B-A3B با حجم تقریبی ۱۷٫۷ گیگابایت اجرا شده است. برای انجام این کار بخشی از وزن‌های مدل به حافظه رم منتقل شده‌اند.

در تنظیمات پیشرفته llama.cpp می‌توان با پارامترهایی مانند -ngl و --n-cpu-moe مشخص کرد چه مقدار از پردازش روی GPU و چه مقدار روی CPU انجام شود. البته میزان بهینه این تنظیمات به معماری مدل و سخت‌افزار سیستم بستگی دارد.

اتصال گوشی و لپ‌تاپ به سرور هوش مصنوعی از طریق شبکه خانگی

بعد از راه‌اندازی سرور، نوبت به اتصال دستگاه‌های دیگر می‌رسد. مزیت اصلی این روش آن است که گوشی، تبلت یا لپ‌تاپ برای استفاده از مدل نیازی به پردازنده گرافیکی قدرتمند یا حافظه زیاد ندارد؛ زیرا تمام محاسبات روی کامپیوتر میزبان انجام می‌شوند.

کافی است دستگاه‌ها به همان شبکه وای‌فای یا شبکه کابلی کامپیوتر متصل باشند. سپس با وارد کردن آدرس IP محلی کامپیوتر به همراه شماره پورت انتخاب‌شده، می‌توان رابط وب سرور را در مرورگر باز کرد.

به عنوان مثال، اگر آدرس محلی کامپیوتر 192.168.1.100 باشد و سرور روی پورت 8080 اجرا شود، آدرس زیر را در مرورگر دستگاه دیگر وارد کنید:

http://192.168.1.100:8080

البته باید آدرس IP واقعی کامپیوتر خود را جایگزین کنید. همچنین ممکن است فایروال ویندوز هنگام اولین اجرا اجازه دسترسی شبکه را درخواست کند. در این شرایط فقط دسترسی موردنیاز برای شبکه خصوصی خانگی را مجاز کنید.

استفاده هم‌زمان چند نفر از یک سرور هوش مصنوعی

یکی دیگر از قابلیت‌های جالب llama.cpp امکان مدیریت چند درخواست هم‌زمان است. این ویژگی باعث می‌شود اعضای خانواده بتوانند بدون نیاز به نصب جداگانه مدل روی دستگاه‌های خود، از یک سرور مشترک استفاده کنند.

در تنظیمات سرور می‌توان تعداد جایگاه‌های پردازش هم‌زمان را با پارامتر -np تعیین کرد. به عنوان مثال، استفاده از -np 2 دو جایگاه گفتگو ایجاد می‌کند تا دو کاربر بتوانند هم‌زمان با مدل ارتباط برقرار کنند.

البته افزایش تعداد کاربران به معنی افزایش نامحدود سرعت نیست. با تقسیم منابع پردازشی بین درخواست‌ها، ممکن است سرعت پاسخ‌گویی به هر کاربر کاهش پیدا کند. ظرفیت واقعی نیز به حافظه کارت گرافیک، اندازه مدل و طول مکالمات بستگی دارد.

مصرف برق و عملکرد کارت گرافیک هنگام اجرای سرور هوش مصنوعی

یکی از نکات جالب این روش، مصرف انرژی نسبتاً پایین کارت گرافیک در زمان انتظار است. در آزمایش انجام‌شده با RTX 4070 Ti Super، مصرف توان گزارش‌شده برای GPU در حالت آماده‌به‌کار و در حالی که مدل بارگذاری شده بود، حدود ۱۴ وات بود. هنگام تولید پاسخ این مقدار به حدود ۱۳۰ تا ۱۴۰ وات افزایش پیدا می‌کرد.

این اعداد مربوط به مصرف خود کارت گرافیک هستند و نباید آن‌ها را با مصرف کل کامپیوتر اشتباه گرفت. پردازنده، مادربورد، فن‌ها و سایر قطعات نیز برق مصرف می‌کنند.

محدودیت حافظه VRAM و تأثیر آن بر اجرای بازی‌ها

مهم‌ترین محدودیت استفاده از کارت گرافیک گیمینگ به عنوان سرور هوش مصنوعی، اشغال شدن حافظه VRAM است. زمانی که مدل روی کارت گرافیک بارگذاری می‌شود، بخش زیادی از حافظه در اختیار آن قرار می‌گیرد و فضای کمتری برای بازی‌ها یا نرم‌افزارهای گرافیکی باقی می‌ماند.

در آزمایش یادشده، مدل حدود ۱۵٫۴ گیگابایت از حافظه ۱۶ گیگابایتی کارت گرافیک را اشغال کرده بود. بنابراین تنها حدود ۶۰۰ مگابایت حافظه آزاد باقی می‌ماند که برای اجرای بسیاری از بازی‌های سنگین کافی نیست.

برای حل این مشکل می‌توان از مدل‌های سبک‌تر استفاده کرد یا بخشی از پردازش را به رم سیستم منتقل کرد. همچنین اگر کامپیوتر در ساعات مشخصی برای بازی استفاده می‌شود، بهتر است سرور را پیش از اجرای بازی متوقف کنید.