Le nouveau chatbot de Deepseek possède une introduction impressionnante: "Salut, j'ai été créé pour que vous puissiez demander n'importe quoi et obtenir une réponse qui pourrait même vous surprendre." Cette IA, un produit de la startup chinoise Deepseek, est rapidement devenue un acteur majeur, provoquant même des baisses importantes du cours des actions de Nvidia.
Image: esigame.comLe succès de Deepseek provient de ses méthodes d'architecture et de formation innovantes. Les technologies clés comprennent:
- Prédiction multi-token (MTP): Au lieu de prédire les mots un par un, MTP prévoit plusieurs mots simultanément, augmentant la précision et l'efficacité.
- Mélange d'experts (MOE): Cette architecture utilise 256 réseaux de neurones dans Deepseek V3, activant huit pour chaque tâche de traitement de jeton, accélérant considérablement la formation et améliorant les performances.
- Attention latente multi-tête (MLA): MLA extrait à plusieurs reprises les détails clés des fragments de texte, garantissant que les informations cruciales ne sont pas manquées, conduisant à une compréhension plus nuancée des données d'entrée.
Image: esigame.comAlors que Deepseek a initialement réclamé un coût de formation remarquablement faible de 6 millions de dollars pour Deepseek V3 en utilisant 2048 GPU, la semianalyse a révélé une infrastructure beaucoup plus substantielle: environ 50 000 GPU Nvidia Hopper (y compris 10 000 H800, 10 000 H100S et H20S supplémentaires) répartis sur plusieurs centres de données. Cela représente un investissement total de serveur d'environ 1,6 milliard de dollars, avec des dépenses opérationnelles estimées à 944 millions de dollars.
Deepseek, une filiale du High Flyer de fonds spéculatifs chinois, possède ses centres de données, accordant un contrôle inégalé sur l'optimisation et la mise en œuvre de l'innovation. Cette approche autofinancée améliore la flexibilité et la vitesse de prise de décision. En outre, la société attire les meilleurs talents, certains chercheurs gagnant plus de 1,3 million de dollars par an, recrutent principalement dans les principales universités chinoises.
Image: esigame.comLa demande de coût de formation de 6 millions de dollars de Deepseek est trompeuse; Il ne reflète que l'utilisation du GPU avant la formation, à l'exclusion de la recherche, du raffinement, du traitement des données et des infrastructures. L'investissement réel de la société dans le développement de l'IA dépasse 500 millions de dollars. Cependant, sa structure Lean permet une mise en œuvre efficace de l'innovation par rapport aux organisations plus grandes et plus bureaucratiques.
Image: esigame.comL'histoire de Deepseek démontre une capacité de société d'IA indépendante bien financée à rivaliser avec les géants. Son succès, cependant, est indéniablement lié à des milliards d'investissements, à des percées technologiques et à une équipe solide. Le récit du "budget révolutionnaire" est une simplification excessive importante. Néanmoins, les coûts de Deepseek restent considérablement inférieurs à ceux des concurrents. Par exemple, Deepseek a dépensé 5 millions de dollars pour R1, tandis que ChatGpt4 a coûté 100 millions de dollars.
