DeepSeek的负担能力是一个神话：革命性的AI实际上花费了16亿美元

DeepSeek的新聊天机器人拥有令人印象深刻的介绍：“嗨，我被创建了，您可以问任何东西，并得到一个甚至可能让您感到惊讶的答案。”这种AI是中国初创公司DeepSeek的产物，迅速成为主要参与者，甚至导致Nvidia的股价大幅下降。

DeepSeek的成功源于其创新的建筑和培训方法。关键技术包括：

• 多语预测（MTP）： MTP不是一个一个人预测多个单词，而不是一一预测单词，从而提高了准确性和效率。
• 专家的混合物（MOE）：该体系结构利用了DeepSeek V3中的256个神经网络，为每个令牌处理任务激活了8个神经网络，可显着加速培训并提高性能。
• 多头潜在注意力（MLA）： MLA反复从文本片段中提取关键细节，确保不会错过关键信息，从而更加细微地了解输入数据。

尽管DeepSeek最初使用2048 GPU声称DeepSeek V3的培训成本非常低，但半分析显示出更为实质性的基础设施：大约50,000个NVIDIA HOPPER GPU（包括10,000 H800s，10,000 H100S和其他H20S，以及其他HYS）遍布多个数据中心。这代表了一笔总额约16亿美元的服务器投资，运营费用估计为9.44亿美元。

DeepSeek是中国对冲基金高飞行员的子公司拥有其数据中心，授予对优化和创新实施的无与伦比的控制。这种自资助的方法提高了灵活性和决策速度。此外，该公司吸引了顶尖人才，一些研究人员每年收入超过130万美元，主要是从领先的中国大学招募。

DeepSeek的600万美元培训成本索赔具有误导性；它仅反映了训练前的GPU使用情况，不包括研究，改进，数据处理和基础架构。该公司对AI开发项目的实际投资超过5亿美元。但是，与更大的官僚组织相比，其精益结构允许有效的创新实施。

DeepSeek的故事展示了一家资金充足的独立AI公司与巨人竞争的能力。但是，它的成功无疑与数十亿美元的投资，技术突破和强大的团队有关。 “革命预算”的叙述是一个重大的过度简化。然而，DeepSeek的成本仍大大低于竞争对手。例如，DeepSeek在R1上花费了500万美元，而Chatgpt4的费用为1亿美元。