ایج اے آئی ہارڈویئر
ایمبیڈڈ اور ایج اے آئی تعیناتی کے لیے کمپیوٹنگ ماڈیولز
| تصویر | مصنوعات | قیمت | گنجائش |
|---|
ماڈل کی گنجائش کو سمجھنا
ماڈل کی گنجائش سے مراد ایک AI ماڈل میں موجود پیرامیٹرز کی تعداد ہے (مثال کے طور پر 70B = 70 ارب پیرامیٹرز)۔ بڑے ماڈلز کو عام طور پر زیادہ میموری اور کمپیوٹنگ پاور کی ضرورت ہوتی ہے، لیکن وہ بہتر استدلال اور آؤٹ پٹ کوالٹی پیش کر سکتے ہیں۔
پریسیژن (FP16 / FP8 / FP4) اس بات کو متاثر کرتی ہے کہ دی گئی ماڈل گنجائش کے لیے کتنی میموری درکار ہوتی ہے: کم پریسیژن کی فارمیٹس ہر قدم نیچے (FP16 → FP8 → FP4) میموری کی ضروریات کو تقریباً آدھا کر دیتی ہیں، جس سے آؤٹ پٹ پریسیژن پر کچھ خرچ آتا ہے۔
| ماڈل کا سائز | عام میموری (FP16) | عام میموری (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |