Sakana AI 發布自適應 LLM Transformer²

Sakana AI 發布 Transformer²，這是一個 自適應 LLM 模型，主要是透過一種機器學習系統，可以動態調整各種任務的權重，Transformer² 這個名稱反映了它的兩步驟過程：首先，模型分析傳入的任務以了解其要求，然後應用特定於任務的調整來產生最佳結果。

Transformer² 將在測試時動態擴展其運算，以適應它們遇到的任務的複雜性，體現出能夠持續變化和終身學習的生活智慧，並在各種任務（例如數學、編碼、推理和視覺理解）中展示了顯著進步，在效率和特定於任務的表現方面優於 LoRA 等傳統靜態方法，同時需要的參數少得多。

Transformer² 框架設計了一個兩遍適應策略，該策略有效地結合了一組特定於任務的 z 向量。在第一次推理過程中，給定任務或單獨的輸入提示，並使用以下三種適應方法之一分析其測試時間條件。

• 基於提示的適應。專門設計的適應提示對任務進行分類（例如，數學、編碼）並選擇預先訓練的 z 向量。
• 基於分類器的適應。使用 SVF 訓練的任務分類器在推理期間識別任務並選擇適當的 z 向量。
• 少鏡頭適應。透過加權插值組合多個預訓練的 z 向量。一個簡單的最佳化演算法根據幾次評估集的效能來調整這些權重。

https://sakana.ai/transformer-squared/