AMD z mocarną nowością. Nie trzeba już uciekać w chmurę

Największe technologiczne firmy nie zwalniają w wyścigu o rynek sztucznej inteligencji. Tym jednak razem Czerwoni mają inne, ciekawsze podejście. AMD zapowiedziało nowy akcelerator Instinct MI350P w formie klasycznej karty PCIe. To istotna nowość w ofercie firmy, bo producent wraca do tego typu konstrukcji po dłuższej przerwie. Sprzęt został przygotowany z myślą o firmach, które chcą uruchamiać lokalnie sztuczną inteligencję, ale bez kosztownej przebudowy całej infrastruktury serwerowej. Sugerowana cena to tajemnica. Mowa o rozwiązaniu B2B Opisywany sprzęt ma dwuslotową konstrukcję przy długości 267 milimetrów i został zaprojektowany do pracy w klasycznych, chłodzonych powietrzem serwerach. Dla wielu przedsiębiorstw może to być rozwiązanie pośrednie między korzystaniem z chmury a inwestycją w wyspecjalizowane platformy, które często wymagają większych zmian w zakresie zasilania, chłodzenia oraz organizacji miejsca w centrum danych i w efekcie są bardzo drogie. Zasilanie odbywa się przez pojedyncze złącze 12VHPWR (16-pin), ze względu na TDP rzędu 600 W. Jednak nic nie stoi na przeszkodzie, by obniżyć pobór mocy do 450 W na własną rękę przy "niewielkim spadku wydajności". AMD Instinct MI350P ma oferować 2299 TFLOPS dla obliczeń FP16 oraz do 4600 TFLOPS przy wykorzystaniu formatu MXFP4. Producent określa to jako najwyższą obecnie wydajność dostępną w akceleratorze AI dla przedsiębiorstw w tej formie. Na pokładzie znalazło się też 144 GB pamięci HBM3E o przepustowości do 4 TB/s. Czerwoni wspominają również o wsparciu dla sparsity przy popularnych formatach 8- i 16-bitowych, a także o obsłudze FP8, MXFP8 oraz MXFP4. W praktyce ma to pozwolić na efektywniejsze wykorzystanie mocy obliczeniowej, ograniczenie zapotrzebowania na pamięć oraz zmniejszenie wymagań dotyczących energii i chłodzenia. AMD podkreśla też otwarty ekosystem. Instinct MI350P ma współpracować m.in. z Kubernetes GPU Operator, AMD Inference Microservices i popularnymi frameworkami AI, w tym PyTorch. Firma udostępnia również partnerom otwarty referencyjny stos oprogramowania bez opłat licencyjnych. Ma to ułatwić migrację obciążeń inferencyjnych bez dużych zmian w kodzie i pozwolić firmom uniknąć stałych kosztów za używanie modeli w chmurze.