Il nuovo chatbot di Deepseek vanta un'impressionante introduzione: "Ciao, sono stato creato in modo da poter chiedere qualsiasi cosa e ottenere una risposta che potrebbe persino sorprenderti." Questa intelligenza artificiale, un prodotto della startup cinese Deepseek, è diventata rapidamente un attore importante, causando anche calo significativi del prezzo delle azioni di Nvidia.
Immagine: Ensigame.comIl successo di Deepseek deriva dalla sua architettura innovativa e metodi di formazione. Le tecnologie chiave includono:
- Previsione multi-token (MTP): invece di prevedere le parole una per uno, MTP prevede contemporaneamente più parole, aumentando l'accuratezza ed efficienza.
- Miscela di esperti (MOE): questa architettura utilizza 256 reti neurali in DeepSeek V3, attivando otto per ciascun compito di elaborazione dei token, accelerando significativamente la formazione e migliorando le prestazioni.
- Attenzione latente multi-testa (MLA): MLA estrae ripetutamente i dettagli chiave dai frammenti di testo, garantendo che le informazioni cruciali non siano perse, portando a una comprensione più sfumata dei dati di input.
Immagine: Ensigame.comMentre DeepSeek inizialmente ha rivendicato un costo di allenamento notevolmente basso di $ 6 milioni per DeepSeek V3 utilizzando 2048 GPU, la semianalisi ha rivelato un'infrastruttura molto più sostanziale: circa 50.000 GPU di Nvidia Hopper (inclusi 10.000 H800, 10.000 H100 e ulteriori H20) sparsi su più dati di dati. Ciò rappresenta un investimento in totale server di circa $ 1,6 miliardi, con spese operative stimate in $ 944 milioni.
DeepSeek, una consociata dell'hedge fund cinese High-Flyer, possiede i suoi data center, che concede un controllo senza pari sull'ottimizzazione e sull'implementazione dell'innovazione. Questo approccio autofinanziato migliora la flessibilità e la velocità decisionale. Inoltre, l'azienda attira i migliori talenti, con alcuni ricercatori che guadagnano oltre $ 1,3 milioni all'anno, principalmente reclutando dalle principali università cinesi.
Immagine: Ensigame.comLa richiesta di costo di allenamento di $ 6 milioni di Deepseek è fuorviante; Riflette solo l'utilizzo della GPU pre-allenamento, escluso la ricerca, il raffinamento, l'elaborazione dei dati e l'infrastruttura. L'investimento effettivo della società nello sviluppo dell'IA supera $ 500 milioni. Tuttavia, la sua struttura snella consente un'efficace implementazione dell'innovazione rispetto a organizzazioni più grandi e burocratiche.
Immagine: Ensigame.comLa storia di Deepseek dimostra la capacità di una società di intelligenza artificiale indipendente ben finanziata di competere con i giganti. Il suo successo, tuttavia, è innegabilmente legato a miliardi di investimenti, scoperte tecnologiche e una squadra forte. La narrativa del "bilancio rivoluzionario" è una semplificazione eccessiva. Tuttavia, i costi di Deepseek rimangono significativamente più bassi rispetto ai concorrenti. Ad esempio, DeepSeek ha speso $ 5 milioni in R1, mentre CHATGPT4 costa $ 100 milioni.
