Przystępność Deepseek to mit: rewolucyjna sztuczna inteligencja kosztowała 1,6 miliarda dolarów na rozwój

Nowy chatbot Deepseek ma imponujące wprowadzenie: „Cześć, zostałem stworzony, abyś mógł zapytać wszystko i uzyskać odpowiedź, która może cię nawet zaskoczyć”. Ta sztuczna inteligencja, produkt chińskiego startupu Deepseek, szybko stał się głównym graczem, nawet powodując znaczne spadki ceny akcji NVIDIA.

Sukces Deepseek wynika z innowacyjnej architektury i metod szkoleniowych. Kluczowe technologie obejmują:

• Prognozowanie wielu tokenów (MTP): Zamiast przewidywać słowa jeden po drugim, MTP prognozuje wiele słów jednocześnie, zwiększając dokładność i wydajność.
• Mieszanka ekspertów (MOE): Architektura ta wykorzystuje 256 sieci neuronowych w Deepseek V3, aktywując osiem dla każdego zadania przetwarzania tokenów, znacznie przyspieszając szkolenie i poprawiając wydajność.
• Utrzymująca uwaga wielowłócona (MLA): MLA wielokrotnie wyodrębnia kluczowe szczegóły z fragmentów tekstu, zapewniając, że kluczowe informacje nie są pominięte, co prowadzi do bardziej dopracowanego zrozumienia danych wejściowych.

Podczas gdy Deepseek początkowo stwierdził niezwykle niski koszt szkolenia w wysokości 6 milionów dolarów dla Deepseek V3 przy użyciu procesorów graficznych 2048, semianaliza ujawniła znacznie bardziej znaczącą infrastrukturę: około 50 000 GPU Nvidia Hopper (w tym 10 000 H800S, 10 000 H100 i dodatkowych H20S) w wielu centrach danych. Stanowi to całkowita inwestycja serwerowa w wysokości około 1,6 miliarda USD, a wydatki operacyjne szacują na 944 mln USD.

Deepseek, spółka zależna chińskiego funduszu hedgingowego High-Flyer, jest właścicielem swoich centrów danych, zapewniając niezrównaną kontrolę nad optymalizacją i wdrażaniem innowacji. To samofinansowane podejście zwiększa elastyczność i szybkość podejmowania decyzji. Ponadto firma przyciąga najlepsze talenty, a niektórzy badacze zarabiają ponad 1,3 miliona dolarów rocznie, przede wszystkim rekrutujące się z wiodących chińskich uniwersytetów.

Roszczenie kosztów szkoleń Deepseek w wysokości 6 milionów dolarów wprowadza w błąd; Odzwierciedla jedynie korzystanie z GPU przed treningiem, wykluczając badania, udoskonalanie, przetwarzanie danych i infrastrukturę. Rzeczywista inwestycja firmy w rozwój AI przekracza 500 milionów dolarów. Jednak jego szczupła struktura pozwala na skuteczne wdrożenie innowacji w porównaniu z większymi, bardziej biurokratycznymi organizacjami.

Historia Deepseeka pokazuje dobrze finansowaną zdolność niezależnej firmy AI do konkurowania z gigantami. Jego sukces jest jednak niezaprzeczalnie powiązany z miliardami inwestycji, przełomów technologicznych i silnym zespołem. Narracja „rewolucyjnego budżetu” jest znaczącym nadmiernym uproszczeniem. Niemniej jednak koszty Deepseek pozostają znacznie niższe niż konkurenci. Na przykład Deepseek wydał 5 milionów dolarów na R1, podczas gdy Chatgpt4 kosztował 100 milionów dolarów.