AMD prezentuje swój pierwszy mały model językowy
AMD nie ma zamiaru odpuszczać wyścigu na rynku sztucznej inteligencji. Czerwoni stawiają nie tylko na hardware, prezentując własny SML.
Rozwiązanie AMD korzysta z dekodowania spekulacyjnego
Oczywiście nie oznacza to, że konkurencja w postaci AMD czy Intela nie oferuje własnych układów do pracy ze sztuczną inteligencja. Ich wydajność, a tym samym popularność jest jednak znacznie niższa. Wygląda jednak na to, że Czerwoni nie chcą się skupiać tylko na hardware.
Pod koniec ubiegłego tygodnia zaprezentowany został AMD-135M, czyli pierwszy mały model językowy (SML) firmy. Należy on do rodziny Llama i skierowany jest do prywatnych wdrożeń biznesowych. Ma oferować przewagę względem dużych modeli językowych (LLM) w konkretnych zastosowaniach.
Oczywiście wytrenowany on został od podstaw na akceleratorach AMD Instintc MIU250 z wykorzystaniem 670B tokenów. Cały projekt ma charakter typu open-source, dzięki czemu zainteresowani programiści mogą odtworzyć model i pomóc w szkoleniu innych SLM oraz LLM.
Zaletą rozwiązania od Czerwonych ma być dekodowanie spekulacyjne, zamiast podejścia autoregresyjnego. Innymi słowy mały model wstępnie generuje zestaw kandydujących tokenów, które są następnie weryfikowane i poprawiane przez większy model docelowy. Pozwala to na zmniejszenie użycia pamięci.
AMD wierzy, że dalsze optymalizacje mogą prowadzić do jeszcze lepszej wydajności. Co ważne testy przeprowadzane były na obecnej generacji akceleratorów, a więc wydajność kolejnej serii - AMD Instinct MI300 - będzie tylko większa. Trzeba przyznać, że postęp w świecie AI nie zwalnia nawet na chwilę.
