A acessibilidade do Deepseek é um mito: a IA revolucionária realmente custou US $ 1,6 bilhão para se desenvolver

O novo chatbot de Deepseek possui uma introdução impressionante: "Oi, fui criado para que você possa perguntar qualquer coisa e obter uma resposta que possa até surpreendê -lo". Esta IA, um produto da startup chinesa Deepseek, tornou -se rapidamente um participante importante, causando quedas significativas no preço das ações da NVIDIA.

O sucesso da Deepseek decorre de seus métodos inovadores de arquitetura e treinamento. As principais tecnologias incluem:

• Previsão com vários toques (MTP): em vez de prever palavras uma a uma, o MTP prevê várias palavras simultaneamente, aumentando a precisão e a eficiência.
• Mistura de especialistas (MOE): Esta arquitetura utiliza 256 redes neurais no Deepseek V3, ativando oito para cada tarefa de processamento de token, acelerando significativamente o treinamento e melhorando o desempenho.
• Atenção latente de várias cabeças (MLA): O MLA extrai repetidamente os principais detalhes dos fragmentos de texto, garantindo que informações cruciais não sejam perdidas, levando a um entendimento mais sutil dos dados de entrada.

Embora a Deepseek tenha reivindicado inicialmente um custo de treinamento notavelmente baixo de US $ 6 milhões para o DeepSeek V3 usando 2048 GPUs, a semiânica revelou uma infraestrutura muito mais substancial: aproximadamente 50.000 GPUs nvidia fung (incluindo 10.000 H800, 10.000 H100s e H20s adicionais) se espalham por vários centros de dados. Isso representa um investimento total do servidor de aproximadamente US $ 1,6 bilhão, com despesas operacionais estimadas em US $ 944 milhões.

A Deepseek, uma subsidiária do fundo de hedge chinesa, possui seus data centers, concedendo controle incomparável sobre a otimização e a implementação da inovação. Essa abordagem autofinanciada aumenta a flexibilidade e a velocidade de tomada de decisão. Além disso, a empresa atrai os melhores talentos, com alguns pesquisadores ganhando mais de US $ 1,3 milhão anualmente, recrutando principalmente das principais universidades chinesas.

A reivindicação de custo de treinamento de US $ 6 milhões da Deepseek é enganosa; Ele reflete apenas o uso de GPU pré-treinamento, excluindo pesquisas, refinamento, processamento de dados e infraestrutura. O investimento real da empresa no desenvolvimento da IA ​​excede US $ 500 milhões. No entanto, sua estrutura enxuta permite uma implementação eficiente de inovação em comparação com organizações maiores e mais burocráticas.

A história de Deepseek demonstra uma capacidade independente de IA bem financiada de competir com os gigantes. Seu sucesso, no entanto, está inegavelmente ligado a bilhões de investimentos, avanços tecnológicos e uma equipe forte. A narrativa do "orçamento revolucionário" é uma simplificação excessiva significativa. No entanto, os custos da Deepseek permanecem significativamente menores que os concorrentes. Por exemplo, a Deepseek gastou US $ 5 milhões em R1, enquanto o ChatGPT4 custou US $ 100 milhões.