OpenAI i Broadcom prezentują Jalapeño — układ do inferencji zoptymalizowany pod LLM
OpenAI wraz z Broadcomem zaprezentowały Jalapeño — pierwszy autorski akcelerator inferencji zaprojektowany od podstaw pod duże modele językowe (LLM). Sprawdź, co ta premiera oznacza dla wydajności, kosztów i dostępności sztucznej inteligencji.
OpenAI wspólnie z firmą Broadcom (NASDAQ: AVGO) zaprezentowały Jalapeño — pierwszy procesor inteligencji (Intelligence Processor) zaprojektowany przez OpenAI. To akcelerator zbudowany wokół wizji przyszłości inferencji dużych modeli językowych (LLM) oraz pierwszy element wielogeneracyjnej platformy obliczeniowej, którą obie firmy budują wspólnie, aby uczynić zaawansowaną AI szybszą, bardziej niezawodną i szerzej dostępną.
Jalapeño: platforma inferencji zaprojektowana pod LLM
Jalapeño to projekt tworzony od zera z myślą o nowoczesnej inferencji LLM, a nie akcelerator ogólnego przeznaczenia zaadaptowany z wcześniejszych zadań AI. Powstał w oparciu o systemy, które OpenAI uruchamia każdego dnia w ChatGPT, Codeksie oraz API, a jednocześnie został przygotowany pod obecne i przyszłe modele językowe w całej branży. Celem jest połączenie mocy i przepustowości najlepszych dzisiejszych akceleratorów AI z opóźnieniami zbliżonymi do najszybszych wyspecjalizowanych systemów, dzięki czemu układ świetnie sprawdza się w interaktywnych produktach opartych na LLM działających na dużą skalę.
Lepsza wydajność na wat i krótszy czas odpowiedzi
Choć OpenAI wciąż mierzy ostateczne parametry, wczesne testy pokazują, że Jalapeño zapewni wydajność na wat znacząco lepszą niż obecne rozwiązania klasy state-of-the-art. Architektura ogranicza przenoszenie danych oraz równoważy zasoby obliczeniowe, pamięć i sieć, aby realna wykorzystywana moc była znacznie bliższa teoretycznemu maksimum. Technologie krzemowe i sieciowe Broadcomu, w tym układy Tomahawk, pomagają przenieść platformę na poziom produkcji o dużej skali. Szczegółowy raport techniczny dotyczący wydajności ma zostać przedstawiony w kolejnych miesiącach.
Dziewięć miesięcy do tape-outu — z pomocą modeli OpenAI
Jalapeño powstało od pierwszego projektu do produkcyjnego tape-outu w zaledwie dziewięć miesięcy, co — zdaniem obu firm — stanowi najszybszy cykl opracowania układu ASIC w historii wysokowydajnych, zaawansowanych półprzewodników. Taką szybkość umożliwiło ścisłe współprojektowanie sprzętu i oprogramowania, doświadczenie Broadcomu w implementacji krzemu oraz wykorzystanie samych modeli OpenAI do przyspieszenia części procesów projektowych i optymalizacyjnych. Te same modele, które trafiają do użytkowników, pomagają ulepszać infrastrukturę służącą do uruchamiania kolejnych generacji AI.
Wielogeneracyjna platforma budowana z partnerami
Jalapeño to dopiero pierwszy krok wielogeneracyjnej platformy obliczeniowej, której początkowe wdrożenie zaplanowano na koniec 2026 roku, a rozwój na kolejne lata. Łączy ona akceleratory projektowane przez OpenAI z implementacją krzemu, technologiami sieciowymi i łącznością Broadcomu oraz kompetencjami Celestiki w zakresie płyt, szaf serwerowych i integracji systemów. Według Hocka Tana z Broadcomu współpraca ma umożliwić uruchamianie centrów danych o skali gigawatów wraz z Microsoftem i innymi partnerami.
Szersza dostępność zaawansowanej AI
Sedno tych prac jest proste: to właśnie na etapie inferencji AI dociera do ludzi. Każda poprawa kosztu, szybkości i niezawodności może oznaczać szybszą odpowiedź w ChatGPT, zadanie w Codeksie wykonane w większej liczbie kroków bez długiego oczekiwania, tańsze budowanie produktów na API czy bardziej niezawodny dostęp w szczytach zapotrzebowania. Demokratyzacja AI oznacza udostępnianie zaawansowanych modeli w sposób na tyle niezawodny i przystępny cenowo, by więcej osób mogło z nich korzystać na co dzień — studenci, deweloperzy, małe firmy, badacze i przedsiębiorstwa.
Premiera Jalapeño pokazuje, że OpenAI konsekwentnie rozbudowuje swoją strategię pełnego stosu — od produktów, przez modele, aż po własne układy scalone. Projektując coraz więcej warstw samodzielnie, firma może dostarczać więcej inteligencji przy większej efektywności i dalej obniżać koszt obliczeń w całej branży.