本文提出了DeepSeek的首个通用大语言模型系列（7B和67B参数）。它深入研究了扩展定律（Scaling Laws），并以此为指导构建了包含2万亿token的高质量预训练数据集。后续通过监督微调（SFT）和直接偏好优化（DPO），打造了DeepSeek Chat模型。DeepSeek LLM 67B在多项基准超越LLaMA-270B，对话效果比肩GPT-3.5，奠定国产开源大模型的竞争力基座。

该论文针对现有MoE架构存在的专家专业化不足、知识冗余等问题，提出DeepSeekMoE架构。核心策略：更细粒度的专家分割和共享专家隔离。仅用约40%计算量，DeepSeekMoE 16B达到LLaMA2 7B同等性能；145B MoE模型仅用28.5%计算量媲美DeepSeek 67B稠密模型。

本文介绍了DeepSeek-Coder系列开源代码大模型，参数覆盖1.3B到33B，基于2万亿token代码语料训练，结合16K上下文窗口的填空任务。在多个基准测试中达到开源代码模型**性能，超越Codex和GPT-3.5，许可协议宽松支持商业应用。

提出DeepSeekMath 7B，在DeepSeek-Coder基础上继续预训练120B数学相关token，于竞赛级MATH基准上取得51.7%，接近Gemini-Ultra与GPT-4水平。主要归功于精心设计的数据筛选与新提出的GRPO算法，有效降低PPO显存占用。

提出NSA（原生稀疏注意力），通过动态分层稀疏策略，结合粗粒度token压缩与细粒度token选择，在64k长度序列上大幅提升效率，有效降低预训练计算成本，达到或超越全注意力模型性能。

首次系统展示仅通过大规模强化学习（RL）即可激发大语言模型的高级推理能力，无需依赖人工标注推理轨迹。基于GRPO算法训练DeepSeek-R1-Zero，自发涌现反思、验证等复杂推理行为。DeepSeek-R1多阶段训练在保留强推理同时提升可读性。

剖析DeepSeek-V3在2048张H800 GPU上的规模化挑战，系统阐述硬件感知式模型协同设计，核心创新涵盖MLA、MoE、FP8混合精度训练和多平面网络拓扑。探讨未来硬件演进方向，强调硬件与模型协同设计的关键作用。

针对超连接破坏恒等映射导致训练不稳定的问题，提出流形约束超连接（mHC）框架，将残差连接空间投影到特定流形上恢复恒等映射。实验表明mHC在大规模训练中带来显著性能提升和更优可扩展性。

提出条件化记忆作为稀疏性新维度，通过Engram模块以O(1)查找方式补充原生知识检索能力。揭示了神经计算(MoE)与静态记忆之间的U形缩放定律，在等参、等FLOPs条件下超越纯MoE基线，显著提升知识检索与通用推理能力。

将边界框和点坐标提升为最小思维单元穿插在思维链中，使模型推理锚定图像物理位置。基于DeepSeek-V4-Flash MoE与自研ViT，通过ViT分块、空间压缩与压缩稀疏注意力实现7056倍视觉令牌压缩，训练数据含46万条迷宫导航等，采用“先分家再合体”GRPO强化学习策略。