NVIDIA gardzi, Google zainteresowane. Co czeka HBF?

Rynek pamięci dla sztucznej inteligencji może doczekać się kolejnej dużej zmiany. Obok znanego HBM coraz częściej pojawia się temat HBF, czyli High-Bandwidth Flash. To rozwiązanie ma połączyć wysoką przepustowość z pojemnościami zarezerwowanymi wcześniej tylko dla SSD. Według branżowych doniesień technologią mocno interesuje się Google, ale NVIDIA na razie nie zamierza z niej korzystać.

To ma być rozwiązanie pod interferencję, a nie trenowanie

HBF jest rozwijane przez firmy Sandisk i SK hynix. Konstrukcyjnie też będzie opierać się na warstwowym układzie kości połączonych pionowymi przelotkami TSV. Różnica tkwi przede wszystkim w przeznaczeniu oraz pojemności. Obecne stosy HBM oferują zwykle od 32 do 64 GB pamięci, podczas gdy HBF ma w przyszłości skalować się nawet do 4 TB na stos.

Nowa pamięć nie będzie tak szybka jak HBM, ale jej twórcy zakładają, że odpowiednia architektura pozwoli osiągnąć przepustowość wystarczającą dla wielu zadań związanych z AI. Szczególnie istotne może to być przy inferencji, czyli obsłudze już wytrenowanych modeli. Wraz z rozwojem agentów AI rośnie znaczenie dużej, szybkiej i względnie energooszczędnej pamięci, która pomoże odciążyć główne układy obliczeniowe i ograniczyć problemy związane m.in. z KV Cache.

NVIDIA ma jednak patrzeć na ten temat inaczej. Zieloni nie planują szybkiego wdrożenia HBF, uznając, że problemy te można rozwiązać za pomocą ekstremalnie szybkich eSSD. Firma ma współpracować już z Kioxią nad nośnikami półprzewodnikowymi z interfejsem PCIe 7.0, podczas gdy segment konsumencki nadal nie wdrożył na szeroka skalę PCIe 5.0.

Jednak jak na razie to wszystko teoria. Pierwsze próbki HBF mają pojawić się w drugiej połowie tego roku. Na razie trudno przesądzać czy technologia faktycznie stanie się ważnym elementem serwerów AI, ale jej potencjał nie ogranicza się wyłącznie do zastąpienia HBM. HBF może też rywalizować ze standardową pamięcią DDR i LPDDR w centrach danych.