DeepSeek Coder

什么是 DeepSeek Coder？

DeepSeek Coder 是一系列从头开始训练的代码语言模型，在英语和中文中分别使用 87% 的代码和 13% 的自然语言进行训练，每个模型预训练了 2T 令牌。这些模型有多种大小版本，范围从 1B 到 33B。

DeepSeek Coder 是如何工作的？

每个模型都使用 16K 的窗口大小和额外的填充空白任务，在 repo 级别的代码语料库上进行预训练，得到基础模型（DeepSeek-Coder-Base）。然后，将基础模型微调 2B 令牌的指令数据，以获取指令调整模型，即 DeepSeek-Coder-Instruct。

DeepSeek Coder 的特点

• 在超过 80 种编程语言中预训练了 2 万亿令牌
• 提供多种模型大小（1.3B、5.7B、6.7B 和 33B）以满足不同需求
• 窗口大小为 16K，支持项目级代码完成和填充
• 在开放代码模型中具有最先进的性能
• 开源且免费用于研究和商业用途

DeepSeek Coder 的定价

DeepSeek Coder 是开源的，免费用于研究和商业用途。