اے آئی ہارڈویئر اسٹور
منی پی سیز، NAS، ورک اسٹیشنز، سرورز اور ایج اے آئی ہارڈویئر براؤز کریں — ہر سسٹم ⏻ On Intelligence کے ذریعے انسٹالیشن سروس اور سافٹ ویئر جدت کے ساتھ منسلک کیا جا سکتا ہے۔
| تصویر | مصنوعات | قیمت | گنجائش |
|---|
ماڈل کی گنجائش کو سمجھنا
ماڈل کی گنجائش سے مراد ایک AI ماڈل میں موجود پیرامیٹرز کی تعداد ہے (مثال کے طور پر 70B = 70 ارب پیرامیٹرز)۔ بڑے ماڈلز کو عام طور پر زیادہ میموری اور کمپیوٹنگ پاور کی ضرورت ہوتی ہے، لیکن وہ بہتر استدلال اور آؤٹ پٹ کوالٹی پیش کر سکتے ہیں۔
پریسیژن (FP16 / FP8 / FP4) اس بات کو متاثر کرتی ہے کہ دی گئی ماڈل گنجائش کے لیے کتنی میموری درکار ہوتی ہے: کم پریسیژن کی فارمیٹس ہر قدم نیچے (FP16 → FP8 → FP4) میموری کی ضروریات کو تقریباً آدھا کر دیتی ہیں، جس سے آؤٹ پٹ پریسیژن پر کچھ خرچ آتا ہے۔
| ماڈل کا سائز | عام میموری (FP16) | عام میموری (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |