OpenAI pokazało Jalapeño. Ma pomóc uniezależnić się od NVIDII

Coraz więcej technologicznych gigantów odsuwa się od Jensena Huanga. Jego akceleratory są najwydajniejsze, ale cena i czas oczekiwania są zbyt wysokie. OpenAI, kojarzone głównie za sprawą ChatGPT i Codex, wchodzi na rynek hardware. Firma zaprezentowała Jalapeño, swój pierwszy autorski chip do obsługi sztucznej inteligencji. Układ powstał we współpracy z Broadcomem i został zaprojektowany z myślą o inferencji, czyli uruchamianiu gotowych modeli AI oraz odpowiadaniu na zapytania użytkowników. Specyfikacja i wydajność owiane są tajemnicą To ważny krok, bo drużyna Sama Altmana do tej pory w ogromnym stopniu polegała na akceleratorach NVIDII. Są one bardzo wydajne, ale również drogie i trudno dostępne, a przy skali działania OpenAI każdy procent oszczędności ma znaczenie. Jalapeño nie ma być więc tylko pokazem możliwości, ale elementem większej strategii, w której firma chce samodzielnie kontrolować coraz więcej warstw swojej infrastruktury. Nowy układ nadal przechodzi testy, ale pierwsze wyniki mają być obiecujące. OpenAI przekonuje, że Jalapeño oferuje wyraźnie lepszy stosunek wydajności do poboru mocy niż obecne, topowe rozwiązania dostępne na rynku. Firma podkreśla też, że jej modele AI pomagały w procesie projektowania procesora. Jalapeño nie jest jednak układem do wszystkiego. Jego główne zadanie to inferencja, a więc etap, z którym użytkownicy mają styczność, gdy proszą model o napisanie kodu, analizę tekstu czy wygenerowanie odpowiedzi. Najbardziej wymagające trenowanie dużych modeli nadal będzie realizowane z użyciem sprzętu NVIDII, ale to właśnie inferencja generuje ogromne, powtarzalne koszty przy codziennym działaniu AI jak ChatGPT. A więc czy Zieloni mają powody do obaw? Nie. Jalapeño nie oznacza natychmiastowego końca dominacji NVIDII, ale pokazuje kierunek, w którym zmierza rynek. Najwięksi gracze nie chcą już wyłącznie kupować gotowych akceleratorów. Swoje chipy robi już Google oraz Amazon, a podobne prace trwają też u chińskich podmiotów jak Alibaba i Baidu. https://www.youtube.com/watch?v=qqAbVTFnfk8