AWS Inferentia

تحتوي كل شريحة من شرائح Inferentia من الجيل الأول على أربعة من الجيل الأول من NeuronCores، ويحتوي كل مثيل EC2 Inf1 على ما يصل إلى 16 شريحة Inferentia. تحتوي كل شريحة Inferentia2 على اثنين من الجيل الثاني من NeuronCores، ويحتوي كل مثيل EC2 Inf2 على ما يصل إلى 12 شريحة Inferentia2. تدعم شريحة Inferentia2 (الخاصة بالذكاء الاصطناعي) ما يصل إلى 190 تيرافلوب في الثانية لأداء دقة FP16، مما يعزز كفاءة المعالجة الحسابية عالية الأداء. الجيل الأول من Inferentia يتميز بذاكرة DDR4 قدرها 8 جيجابايت لكل شريحة ويتميز أيضًا بقدر كبير من ذاكرة الرقاقة. يوفر Inferentia2 ذاكرة عرض النطاق العالي (HBM) قدرها 32 جيجابايت لكل شريحة، مما يزيد من إجمالي الذاكرة بمقدار 4 أضعاف وزيادة عرض النطاق الترددي للذاكرة بمقدار 10 أضعاف مقارنةً بـ Inferentia.

إن مجموعة تطوير برمجيات AWS Neuron تتكامل بطبيعتها مع أُطر تعلّم الآلة الشهيرة مثل PyTorch وTensorFlow. مع AWS Neuron، يُمكنك استخدام هذه الأطر في نشر نماذج التعلّم العميق على النحو الأمثل على كل من شرائح AWS Inferentia، وقد تم تصميم Neuron بهدف الحد من تغيرات الأكواد والتأقلم أو الترابط مع الحلول الخاصة بالمورّد. يساعدك Neuron في تشغيل تطبيقات الاستدلال لمهام معالجة اللغة الطبيعية (NLP)/فهمها، والترجمة اللغوية، وتلخيص النصوص، وإنشاء مقاطع الفيديو والصور، والتعرّف على الكلام، والتخصيص، واكتشاف الاحتيال، وغير ذلك الكثير على شرائح Inferentia.

الجيل الأول من Inferentia يدعم أنواع البيانات FP16 وBF16 وINT8. يُضيف Inferentia2 دعمًا إضافيًا لأنواع البيانات FP32 وTF32 ولنوع البيانات الجديد القابل للتكوين FP8 ‏(cFP8) لتزويد المطورين بقدر أكبر من المرونة لتحسين الأداء وزيادة الدقة. يأخذ AWS Neuron نماذج FP32 عالية الدقة ويُرسلها تلقائيًا إلى أنواع بيانات منخفضة الدقة وفي الوقت نفسه يزيد من الدقة ويُحسّن الأداء. يعمل البث التلقائي (Autocasting) على تقليل الوقت اللازم للتسويق عن طريق التخلص من الحاجة إلى إعادة التدريب بدقة أقل.

يضيف Inferentia2 تحسينات أجهزة لأحجام الإدخال الديناميكية والمُشغّلات المخصصة المكتوبة بلغة C++. ويدعم أيضًا التقريب التصادفي (العشوائي)، وهو طريقة للتقريب الاحتمالي تُمكّن من تحقيق أداء عالٍ ودقة أعلى مقارنةً بأنماط التقريب القديمة.

توفر مثيلات Inf2 أداءً أفضل بنسبة تصل إلى 50% لكل واط مقارنةً بمثيلات Amazon EC2 لأنها هي وشرائح Inferentia2 الأساسية مصممة خصيصًا لتشغيل نماذج التعلّم العميق على نطاق واسع. تساعدك مثيلات Inf2 في تحقيق أهداف الاستدامة عند نشر النماذج الكبيرة جدًا.