DeepSeek-V3.1 在 DeepSeek-V3.1-Base 的基礎上進行後訓練,後者基於原始 V3 基礎檢查點,通過兩階段長上下文擴展方法構建,遵循原始 DeepSeek-V3 報告中概述的方法。
DeepSeek 透過收集更多長文件並大幅擴展兩個訓練階段來擴展資料集。32K 擴展階段的標記數量增加了 10 倍,達到 6,300 億個標記,而 128K 擴展階段的標記數量增加了 3.3 倍,達到 2,090 億個標記。此外,DeepSeek-V3.1 使用 UE8M0 FP8 規模資料格式進行訓練,以確保與微尺度資料格式相容。
DeepSeek-V3.1 是一個同時支持思考模式和非思考模式的混合模型。相較於上一版本,本次升級帶來了多個方面的改進:
- 混合推理:思考與非思考-一個模型,兩種模式
- 更快的思考:DeepSeek-V3.1-Think 與 DeepSeek-R1-0528 相比,可以在更短的時間內找到答案
- 更強大的代理商技能:後製訓練可提高工具使用率和多步驟代理任務
DeepSeek-V3.1 模型提升了工具使用、程式碼生成和推理效率,在高難度基準測試中實現了與 DeepSeek-R1 相當的效能,同時響應速度更快。它支援結構化工具呼叫、代碼代理和搜尋代理,適用於研究、編碼和代理工作流程。
工具和代理程式升級
- 在 SWE / Terminal-Bench 上獲得更好的結果
- 針對複雜搜尋任務的更強大的多步驟推理
- 思考效率大幅提升
模型更新
- V3.1 基礎:在 V3 基礎上繼續對 840B 個 token 進行預訓練,以進行長上下文擴展
- Tokenizer 和聊天範本已更新 - 新的 tokenizer 設定:https://huggingface.co/deepseek-ai/DeepSeek-
- V3.1/blob/main/tokenizer_config.json
- V3.1 基礎開源權重:https://huggingface.co/deepseek-ai/DeepSeek-V3.1-Base
- V3.1 開源權重:https://huggingface.co/deepseek-ai/DeepSeek-V3.1
價格變動
- 新定價開始及非高峰折扣結束時間為 2025 年 9 月 5 日 16:00(UTC 時間)
- 在此之前,API 遵循當前定價
- 定價頁面:https://api-docs.deepseek.com/quick_start/pricing/
https://api-docs.deepseek.com/news/news250821
Picture Source:
unsplash
留言
張貼留言