Ang kakayahang magamit ng Deepseek ay isang alamat: ang rebolusyonaryong AI ay talagang nagkakahalaga ng $ 1.6 bilyon upang mabuo

Ipinagmamalaki ng bagong chatbot ng Deepseek ang isang kahanga -hangang pagpapakilala: "Kumusta, nilikha ako upang maaari kang magtanong ng anuman at makakuha ng isang sagot na maaaring sorpresa ka." Ang AI na ito, isang produkto ng China Startup Deepseek, ay mabilis na naging isang pangunahing manlalaro, kahit na nagdudulot ng mga makabuluhang patak sa presyo ng stock ni Nvidia.

Ang tagumpay ng Deepseek ay nagmula sa makabagong mga pamamaraan ng arkitektura at pagsasanay. Ang mga pangunahing teknolohiya ay kasama ang:

• Multi-Token Prediction (MTP): Sa halip na hulaan ang mga salita nang paisa-isa, ang mga pagtataya ng MTP ay maraming mga salita nang sabay-sabay, pagpapalakas ng kawastuhan at kahusayan.
• Paghahalo ng mga eksperto (MOE): Ang arkitektura na ito ay gumagamit ng 256 na mga network ng neural sa Deepseek V3, pag -activate ng walong para sa bawat gawain sa pagproseso ng token, makabuluhang pabilis ang pagsasanay at pagpapabuti ng pagganap.
• Multi-head Latent pansin (MLA): Ang MLA ay paulit-ulit na kumukuha ng mga pangunahing detalye mula sa mga fragment ng teksto, tinitiyak na ang mga mahahalagang impormasyon ay hindi napalampas, na humahantong sa isang mas nakakainis na pag-unawa sa data ng pag-input.

Habang ang Deepseek sa una ay inaangkin ang isang napakababang mababang gastos sa pagsasanay na $ 6 milyon para sa Deepseek V3 gamit ang 2048 GPU, ang semianalysis ay nagsiwalat ng isang mas malaking imprastraktura: humigit -kumulang 50,000 nvidia hopper GPUs (kabilang ang 10,000 H800s, 10,000 H100s, at karagdagang H20s) na kumalat sa maraming mga sentro ng data. Ito ay kumakatawan sa isang kabuuang pamumuhunan ng server na humigit -kumulang na $ 1.6 bilyon, na may mga gastos sa pagpapatakbo na tinatayang $ 944 milyon.

Ang DeepSeek, isang subsidiary ng Chinese Hedge Fund High-flyer, ay nagmamay-ari ng mga data center nito, na nagbibigay ng walang kaparis na kontrol sa pag-optimize at pagpapatupad ng pagbabago. Ang diskarte na pinondohan ng sarili na ito ay nagpapaganda ng kakayahang umangkop at bilis ng paggawa ng desisyon. Bukod dito, ang kumpanya ay nakakaakit ng nangungunang talento, na may ilang mga mananaliksik na kumikita ng higit sa $ 1.3 milyon taun -taon, lalo na ang pag -recruit mula sa nangungunang unibersidad ng Tsino.

Ang $ 6 milyong paghahabol sa gastos sa pagsasanay sa Deepseek ay nakaliligaw; Sinasalamin lamang nito ang paggamit ng pre-training GPU, hindi kasama ang pananaliksik, pagpipino, pagproseso ng data, at imprastraktura. Ang aktwal na pamumuhunan ng kumpanya sa pag -unlad ng AI ay lumampas sa $ 500 milyon. Gayunpaman, ang istraktura ng sandalan nito ay nagbibigay -daan para sa mahusay na pagpapatupad ng pagbabago kumpara sa mas malaki, mas maraming mga organisasyong burukrata.

Ang kwento ni Deepseek ay nagpapakita ng isang mahusay na pinondohan na independiyenteng kakayahan ng kumpanya ng AI na makipagkumpetensya sa mga higante. Ang tagumpay nito, gayunpaman, ay hindi maikakaila na naka -link sa bilyun -bilyong pamumuhunan, mga tagumpay sa teknolohiya, at isang malakas na koponan. Ang salaysay na "rebolusyonaryong badyet" ay isang makabuluhang labis na labis na pag -iingat. Gayunpaman, ang mga gastos sa Deepseek ay mananatiling mas mababa kaysa sa mga kakumpitensya. Halimbawa, ang Deepseek ay gumugol ng $ 5 milyon sa R1, habang ang Chatgpt4 ay nagkakahalaga ng $ 100 milyon.