跳到主要內容

CodeI/O:透過程式碼輸入輸出預測濃縮推理模式


CodeI/O 是一種新方法,它將基於程式碼的推理模式轉換為自然語言格式,以增強大型語言模型的推理能力。與專注於特定技能的傳統方法不同,我們的方法系統地提取通用推理原語,同時保持程序嚴謹性,從而能夠在各種推理任務中獲得更好的性能。

主要特點和貢獻

  • 通用轉換:將不同的代碼模式轉換為自然語言的思路鏈原理
  • 語法解耦:將推理與程式碼語法解耦,同時保留邏輯結構
  • 多任務增強:提高符號、科學、邏輯、數學、常識和代碼推理的效能
  • 完全可驗證:支援透過快取的真實情況匹配​​或程式碼重新執行進行精確的預測驗證
  • 高階迭代:增強版 (CodeI/O++) 經過多輪修訂,準確率更高

核心資料建置管道

我們首先從各種來源收集原始程式碼檔案。然後它們被轉換成統一的格式。接下來,透過程式碼執行從轉換後的函數中取樣 I/O 對。最後,使用統一格式的元素和從 LLM 收集的回應來組裝完整的訓練資料集。

https://kopyai.com/zh-tw/latest/view/type.news/0/16

Picture Source:

DeepSeek

留言

這個網誌中的熱門文章

美國公布 2025 年六月非農就業人數

美國勞工統計局今天報告稱,6 月非農業就業總人數增加了 14.7 萬人,失業率基本持平於 4.1%。州政府和醫療保健領域的就業機會增加。聯邦政府部門的就業機會持續減少。 本新聞稿提供的統計數據來自兩項月度調查。 家庭調查以人口統計特徵衡量勞動力狀況,包括失業率。 機構調查以行業衡量非農業就業人數、工時和收入。 家庭調查數據 6月份,失業率為 4.1%,失業人數為 700 萬,兩者皆變化不大。自2024年5月以來,失業率一直維持在 4.0% 至 4.2% 的窄幅區間內。 在主要勞動族群中,非裔美國人(6.8%)的失業率在6月有所上升,而成年女性(3.6%)和白人(3.6%)的失業率則下降。成年男性(3.9%)、青少年(14.4%)、亞裔(3.5%)和西班牙裔(4.8%)的失業率在當月幾乎沒有變化。 6 月份,長期失業人數(失業 27 週或以上)增加了 19 萬,達到 160 萬,基本上抵消了上個月的降幅。長期失業者佔所有失業人口的 23.3%。 6 月份,勞動參與率基本維持不變,為 62.3%,就業人口比率維持在 59.7%。 6 月份,因經濟原因從事兼職工作的人數為 450 萬,基本維持不變。這些人原本更傾向於全職工作,但由於工作時間減少或無法找到全職工作,他們只能從事兼職工作。 6 月份,目前希望就業但未加入勞動力的人數基本保持不變,為 600 萬人。這些人未被計入失業人數,因為他們在調查前 4 週內沒有積極尋找工作,或無法接受工作。 在希望就業但未加入勞動力隊伍的人數中,6 月處於邊緣就業狀態的人數增加了 23.4 萬人,達到 180 萬人。這些人希望工作,並且能夠工作,在過去 12 個月的某個時間點尋找工作,但在調查前 4 週內沒有尋找工作。灰心喪志的工人(邊緣就業人群中的一部分,他們認為沒有工作機會)的人數在 6 月增加了 25.6 萬人,達到 63.7 萬人。 機構調查數據 6月份非農業就業總人數增加了 14.7 萬個,與過去 12 個月平均每月增加 14.6 萬個的水平持平。6月份,州政府和醫療保健領域的就業機會增加。聯邦政府的就業機會持續減少。 6月政府就業機會增加了 7.3 萬個。州政府就業機會增加了4.7萬個,主要集中在教育領域(增加了4萬個)。地方政府教育領域的就業機會持續增加(增加了2.3萬個)。聯邦政府就業機會持續減少(減少了7千個),自1月...

Kyutai Labs 發布最新文字轉語音 AI 模型 - Kyutai TTS

法國 AI 研究機構 Kyutai Labs 發布最新文字轉語音 AI 模型 - Kyutai TTS,這是一個即時低延遲,並擁有 16 億參數的模型,包含多項創新。 Kyutai TTS 引領了文字轉語音領域的新潮流。 詞錯率(WER) 衡量的是 TTS 未能遵循腳本的頻率。 說話人相似度是語音複製時衡量產生的音訊與原始樣本的接近程度的指標。 Kyutai Labs 將 Kyutai TTS 與其他模型在 NTREX 的 15 篇英文新聞和 15 篇法文新聞上進行了比較。除 Kyutai TTS 和 ElevenLabs 外,所有模型都被要求逐句生成,因為我們觀察到這種方式效果最佳。 Kyutai TTS 無需提前了解整個文本,從接收第一個文本標記到生成第一個音頻區塊的延遲為 220 毫秒。在Unmute.sh部署中,我們使用批次功能同時處理最多 32 個請求,使用 L40S GPU 時觀察到延遲為 350 毫秒。 Kyutai STT 模型針對即時使用進行了最佳化,可以批量處理以提高效率,並返回單字級時間戳記。我們提供兩種模型: kyutai/stt-1b-en_fr,一個具有約 1B 個參數、0.5 秒延遲和語義 VAD 的英語和法語模型。 kyutai/stt-2.6b-en,一個僅支援英語的模型,具有約 26 億個參數和 2.5 秒的延遲。 這些語音轉文字模型有幾個優點: 流式推理:模型可以分塊處理音頻,從而實現即時轉錄,非常適合互動式應用程式。 輕鬆批次處理以實現最高效率:H100 可以即時處理 400 個串流。 它們傳回單字級時間戳。 1B 模型具有語義語音活動偵測 (VAD) 元件,可用於偵測使用者何時說話。這對於建立語音代理尤其有用。 https://kopyai.com/zh-tw/latest/view/type.news/0/39 Picture Source: kyutai.org

OpenAI 推出全新 o3-mini 推理模型,並提供免費 ChatGPT 版本!

OpenAI 執行長 Sam Altman兩週前曾表示,o3-mini 將在「幾週內」發貨,而今天它已準時到達。 OpenAI 正在 ChatGPT 及其 API 服務中推出其最新的 o3-mini 推理模型,並首次向 ChatGPT 免費用戶提供具有速率限制的版本。 o3-mini最初於 12 月作為 OpenAI 為期 12 天的「ship-mas」活動的一部分發布,旨在匹配 o1 在數學、編碼和科學方面的表現,同時響應速度比現有的推理模型更快。OpenAI 表示, o3-mini 的反應速度比 o1-mini 快 24%,並提供更準確的答案。與 o1-mini 非常相似,這個最新模型將展示它如何得出答案,而不僅僅是提供回應。 OpenAI 在 12 月提供了一些早期基準測試,顯示其 o3 模型的表現優於 o1,現在它表示 o3-mini 版本將在許多編碼和推理任務中以更低的成本和延遲勝過 o1。開發人員將能夠透過 OpenAI 的 API 服務利用 o3-mini,包括聊天完成 API、助理 API 和批次 API。 付費用戶還可以選擇 o3-mini-high,OpenAI 稱其為“ChatGPT 中最好的編碼選項”,並包含需要更長時間才能產生的更高智慧回應。 o3-mini 也可以透過搜尋功能找到具有網路資源連結的答案。 這也是 ChatGPT 的免費用戶首次能夠嘗試 OpenAI 的推理模型,就在幾天前,微軟向所有 Copilot 用戶免費提供 o1,DeepSeek 震撼了 AI 世界。您可以在 ChatGPT 中透過選擇聊天欄中的 Reason 功能免費試用 o3-mini,速率限制將與現有的 GPT-4o 限制類似。 o3-mini 也將於今日對全球 ChatGPT Plus、Team 和 Pro 用戶開放,而 OpenAI 將把 Plus 和 Teams 用戶的訊息限額增加三倍,達到每天 150 則訊息。只有願意每月支付 200 美元的專業用戶才能無限制存取 o3-mini。 微軟宣布,o3-mini 也可適用於 Microsoft Azure OpenAI 服務、GitHub Copilot 和 GitHub 模式。 https://kopyai.com/zh-tw/latest/view/type.news/0/13 Picture Sour...