商業情報@斯坦福

史丹福大學研究人員推出Octopus v2：增強設備上語言模型的超級代理功能

快速閱讀： https://marktechpost.com/2024/04/06/researchers-at-stanford-university-introduce-octopus-v2-empowering-on-device-language-models-for-super-agent-functionality/

史丹福大學的研究人員推出了Octopus v2，這是一種先進的設備上語言模型，旨在解決與當前LLM應用程式相關的廣泛延遲，準確性和隱私問題。與以前的型號不同，Octopus v2顯著降低了延遲，並提高了設備上應用程式的準確性。它的獨特之處在於，通過函數標籤進行微調的方法可以實現精確的函數調用，在效率和速度上超越GPT-4，同時顯著減少95%的上下文長度。

Octopus v2的方法涉及在專注於Android API調用的自定義數據集上微調源自Google DeepMind的Gemma 2B的20億參數模型。該數據集由正例和反例構建，以提高函數調用的準確性。該訓練結合了全模型和低等級適應（LoRA）技術，以優化設備上執行的性能。關鍵創新是在微調期間引入功能令牌，顯著降低延遲和上下文長度要求。該過程使Octopus v2能夠在邊緣設備上實現高精度和高效的功能調用，而無需大量計算資源。

商業情報@斯坦福

視頻：