سرور GPU چیست و چه فرقی با سرور معمولی دارد؟
پردازندهٔ معمولی چند ده هستهٔ قدرتمند دارد که کارهای متنوع را پشت سر هم انجام می‌دهند. کارت گرافیک هزاران هستهٔ ساده دارد که یک عملیات را هم‌زمان روی حجم زیادی داده اجرا میکنند. ضرب ماتریس‌ها، که قلب شبکه‌های عصبی است، دقیقاً از همین نوع کار است؛ به همین دلیل آموزش یک مدل روی GPU می‌تواند ده‌ها برابر سریع‌تر از CPU باشد.
سرور GPU سروری است که یک یا چند کارت گرافیک مخصوص محاسبه دارد و درایورها و کتابخانه‌هایی مثل CUDA روی آن نصب می‌شوند. مهم‌ترین مشخصهٔ آن، بیش از سرعت، حافظهٔ خود کارت (VRAM) است؛ چون مدل و دادهٔ در حال پردازش باید در همین حافظه جا شوند.
کارت‌های گرافیکی محاسباتی با کارت‌های بازی هم فرق دارند: حافظهٔ بیشتر، پشتیبانی از دقت‌های عددی مخصوص یادگیری عمیق و طراحی برای کار شبانه‌روزی در دیتاسنتر. برای بسیاری از پروژه‌های کوچک‌تر اما یک کارت با حافظهٔ متوسط کافی است و انتخاب گران‌ترین مدل فقط هزینه را بالا می‌برد.