Superkomputer AI wielkości walkmana. To urządzenie jest niewiarygodne
Okazuje się, że firmy wcale nie muszą być uzależnione od serwerów AI wielkich korporacji. Wszystko może działać lokalnie.
Wszystko to ma być możliwe za pomocą urządzenia o nazwie Pocket Lab od Tiiny AI, którego opis jest... no cóż, niewiarygodny. Mowa tu o czymś o wymiarach 14,2 × 8 × 2,53 cm i wadze 300 gramów. Brzmi to, jak opis czegoś, w czym zmieścimy kasetę magnetofonową, a nie upchniemy cały model sztucznej inteligencji.
Tiiny AI Pocket Lab
. Sercem urządzenia ma być natomiast 12-rdzeniowy, niestandardowy układ ARM v9.2 o wydajności 190 TOPS, którego ma wspierać do 80 GB RAM LPDDR5X. Tym samym wiele modeli zmieści się w pamięci operacyjnej w całości, co jest kluczowe do szybkiej i sprawnej pracy. Jeśli chodzi o pamięć dyskową, to ta ma wynosić 1 TB. A to przy typowym poborze energii na poziomie 65 W. W rezultacie urządzenie ma obsługiwać modele językowe do 120 miliardów parametrów. Dla porównania GPT-3 od OpenAI działa na 175 miliardach parametrów. Tym samym model językowy skupiony na konkretnym celu byłby jak najbardziej funkcjonalny przy takich warunkach.
Jakim cudem ma to wszystko działać na tak małym urządzeniu? Firma twierdzi, że to dzięki dwóm technologiom. Pierwsza z nich to TurboSparse. Ma być to system aktywacji na poziomie neuronów zwiększający wydajność wnioskowania bez uszczuplania inteligencji modelu. I tak: ja też nie rozumiem, o co tu chodzi. Drugim jest silnik wnioskowania PowerInfer, który ma dynamicznie rozdzielać obciążenie między podzespołami, co ma doprowadzić do optymalizacji pracy. Urządzenie ma obsługiwać modele GPT OSS, Llama, Qwen, DeepSeek, Mistral i Phi.
Pocket Lab ma oficjalnie zostać zaprezentowany podczas targów CES 2026. Czy to urządzenie faktycznie może spełniać wszystkie obietnice, które złożyło? No cóż, tego dowiemy się wtedy, kiedy trafi na pierwsze testy. Jeśli jednak będzie atrakcyjnie wycenione, to może być istnym ciosem w firmy, które chciałyby zarabiać, świadcząc usługi agentów AI przez sieć.
