Ο νέος επιταχυντής AI της Intel, Gaudi 3, υπόσχεται υψηλότερη απόδοση από τον NVIDIA H100

Η Intel ισχυρίζεται ότι ο επιταχυντής «Gaudi 3» προσφέρει έως και 70% βελτιωμένη απόδοση στην εκπαίδευση μεγάλων γλωσσικών μοντέλων (LLMs) ή πολυτροπικών μοντέλων, 50% καλύτερη απόδοση στο συμπερασμό (inference) και 40% καλύτερη ενεργειακή αποδοτικότητα σε σχέση με τους επεξεργαστές/επιταχυντές NVIDIA H100. Ο νέος επιταχυντής AI παρουσιάστηκε με τη μορφή μίας dual-slot κάρτας PCIe Gen 5 (τύπου Universal Baseboard) με TDP 600W ή ως μονάδα OAM (Open Accelerator Module) με TDP ίσο με 900W. Η κάρτα PCIe Gen 5 έχει την ίδια μέγιστη απόδοση (1.835 TeraFLOPS σε FP8) με τη μονάδα OAM παρά το κατά 300 W χαμηλότερο TDP της.

Η έκδοση PCIe Gen 5 λειτουργεί στο πλαίσιο μίας τετράδας από τέτοιες κάρτες ανά σύστημα, ενώ οι μονάδες OAM HL-325L μπορούν να λειτουργήσουν σε διαμόρφωση οκτώ επιταχυντών ανά διακομιστή. Κατασκευασμένος στον κόμβο N5 (5 nm) της TSMC, ο επιταχυντής AI της Intel ενσωματώνει 64x πυρήνες Tensor παρέχοντας διπλάσια απόδοση FP8 και τετραπλάσια απόδοση FP16 σε σχέση με την προηγούμενη γενιά του επιταχυντή, Gaudi 2.

Ο επιταχυντής τεχνητής νοημοσύνης Gaudi 3 διαθέτει 128 GB μνήμης HBM2E με bandwidth που ισούται με 3,7 TB/s και 24x Ethernet NICs των 200 Gbps με δυνατότητες κλιμάκωσης σε διπλό NIC των 400 Gbps. Στη συσκευασία του, ο Gaudi 3 περιλαμβάνει 10x πλακίδια (tiles), τα οποία μπορείτε να διακρίνετε στην παραπάνω εικόνα.

Μεταξύ των 2x κεντρικών πλακιδίων για το processing υπάρχουν 96 MB SRAM που λειτουργούν ως λανθάνουσα μνήμη χαμηλότερου επιπέδου (Low-Level Cache) που γεφυρώνει την επικοινωνία μεταξύ των πυρήνων Tensor και της μνήμης HBM2E. Σύμφωνα με την Intel, ο Gaudi 3 AI Accelerator υποστηρίζει clusters έως και 8.192x καρτών (1.024x nodes των οκτώ επιταχυντών έκαστο). Η μαζική παραγωγή του νέου Gaudi 3 αναμένεται να ξεκινήσει μέσα στο τρίτο τρίμηνο της χρονιάς.

Στην ίδια εκδήλωση, η Intel ανακοίνωσε επίσης ότι θα υποστηρίξει τη νέα τυποποιημένη μορφή δεδομένων MXFP4 που αυξάνει τις επιδόσεις και έκανε γνωστό ότι βρίσκεται σε φάση ανάπτυξης ενός νέου AI NIC ASIC για δικτύωση που συμμορφώνεται με τα πρότυπα του Ultra Ethernet Consortium. insomniagr