جی بی 300 الٹرا سپرچپ ورک سٹیشنز
یہ ورک سٹیشنز اینویڈیا جی بی 300 گریس بلیک ویل الٹرا سپرچپ پر مبنی ہیں۔
| تصویر | مصنوعات | قیمت | گنجائش |
|---|
ماڈل کی گنجائش کو سمجھنا
ماڈل کی گنجائش سے مراد ایک AI ماڈل میں موجود پیرامیٹرز کی تعداد ہے (مثال کے طور پر 70B = 70 ارب پیرامیٹرز)۔ بڑے ماڈلز کو عام طور پر زیادہ میموری اور کمپیوٹنگ پاور کی ضرورت ہوتی ہے، لیکن وہ بہتر استدلال اور آؤٹ پٹ کوالٹی پیش کر سکتے ہیں۔
پریسیژن (FP16 / FP8 / FP4) اس بات کو متاثر کرتی ہے کہ دی گئی ماڈل گنجائش کے لیے کتنی میموری درکار ہوتی ہے: کم پریسیژن کی فارمیٹس ہر قدم نیچے (FP16 → FP8 → FP4) میموری کی ضروریات کو تقریباً آدھا کر دیتی ہیں، جس سے آؤٹ پٹ پریسیژن پر کچھ خرچ آتا ہے۔
| ماڈل کا سائز | عام میموری (FP16) | عام میموری (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |