Microsoft debiutuje niestandardowym krzemem dla sztucznej inteligencji i chmury: 128-rdzeniowy ARM Cobalt 100 i 5 nm Maia 100 mają na celu zaspokojenie potrzeb związanych z treningiem i wnioskowaniem sztucznej inteligencji nowej generacji
Spekulacje na temat Planach Microsoftu już od dłuższego czasu krążą spekulacje na temat planów Microsoftu dotyczących wykorzystania niestandardowych układów krzemowych. Microsoft używa procesorów opartych na Qualcomm, takich jak SQ1, SQ2i SQ3 (Snapdragon 8cx Gen 3) dla swojej linii Surface. Jednak doniesienia o tym, że firma rozważa własne projekty ARM dla serwerów, zaczęły się pojawiaćjeszcze w 2020 rokusam.
Na trwającej konferencji Microsoft Ignite firma zaprezentowała dwa niestandardowe krzemowe IP zaprojektowane z myślą o ambitnych planach AI - akcelerator AI Azure Maia 100 i niestandardowy procesor Azure Cobalt 100. Microsoft wdroży te chipy na początku przyszłego roku we własnych centrach danych, które zasilają Copilota i usługę Azure OpenAI.
Microsoft nie ujawnia jednak zbyt wielu informacji technicznych na temat samych chipów. Zauważa jednak, że Maia 100 to 5 nm chip ze 105 miliardami tranzystorów, co czyni go jednym z największych takich chipów produkowanych w tym procesie. Maia 100 będzie obsługiwać oparte na chmurze szkolenie i wnioskowanie dla modeli OpenAI i ChatGPT i została specjalnie zaprojektowana do trenowania dużych modeli językowych OpenAI.
Maia 100 będzie w pełni chłodzona cieczą, a Microsoft zaprojektował nawet niestandardowe stojaki z "pomocnikami" chłodnicy cieczy, aby pomieścić te chipy.
Cobalt 100, z drugiej strony, to 64-bitowy 128-rdzeniowy procesor, który został zaprojektowany do ogólnych obciążeń w chmurze Microsoft, w tym Teams i SQL. Microsoft twierdzi, że Cobalt 100 jest o 40% bardziej wydajny niż obecne układy Azure ARM.
Oprócz Maia 100 i Cobalt 100, Microsoft ogłosił również publiczną wersję zapoznawczą maszyn wirtualnych (VM) Azure NC H100 v5 do uruchamiania obciążeń AI i obliczeń o wysokiej wydajności (HPC). Maszyny te oparte są na układach GPU Nvidia Hopper H100 i procesorach AMD EPYC Genoa.
Klienci mogą wybierać spośród dwóch konfiguracji NC H100 v5:
- 40 procesorów wirtualnych, 320 GB pamięci RAM, 1 procesor graficzny H100 z 94 GB pamięci HBM3 i przepustowość sieci Azure 40 GBps
- 80 procesorów wirtualnych, 640 GB pamięci RAM, 2 procesory graficzne H100 z 188 GB pamięci HBM3 i 80 GB przepustowości sieci Azure
Microsoft nie pomija jednak AMD. Gigant z Redmond ogłosił również, że oferuje teraz maszyny wirtualne wyposażone w najnowszy procesor graficzny AMD Instinct MI300X z 1,5 TB HBM3 na maszynę wirtualną. Maszyna wirtualna ND MI300X v5 wykorzystuje osiem kart MI300X połączonych przez Infinity Fabric 3.0 ze 192 GB pamięci HBM3 na GPU, która działa z prędkością 5,2 TB/s. Według Microsoftu, specyfikacja maszyny wirtualnej ND MI300X v5 obejmuje:
- 400 Gb/s NVIDIA Quantum-2 CX7 InfiniBand na GPU z 3,2 Tb/s na maszynę wirtualną
- skalowalne procesory Intel Xeon 4. generacji
- Połączenie PCIE Gen5 host-to-GPU z przepustowością 64 GB/s na GPU
- 16 kanałów pamięci DDR5 DIMM
Niestandardowy krzem Microsoftu jest obecnie ukierunkowany na stronę serwerową. Nie jest jasne, czy firma wprowadzi jakiś wariant Cobalt 100 do swojej oferty Surface, czy też nadal będzie polegać na ofertach Qualcomm i ewentualnie MediaTek - niekoniecznie jest to zły pomysł, biorąc pod uwagę imponujące wczesne liczby opublikowane przez Snapdragon X Elite.
Add as a preferred source on Google
