線性注意力順序並行（LASP）

為線性基於注意力的語言模型量身定製的高效機器學習方法

快速閱讀： https://marktechpost.com/2024/04/07/linear-attention-sequence-parallel-lasp-an-efficient-machine-learning-method-tailored-to-linear-attention-based-language-models/

上海人工智慧實驗室和TapTap的研究人員提出了線性注意力序列並行主義（LASP）技術，該技術可以優化線性變壓器上的序列並行性。它使用點對點（P2P）通信來有效地在節點內或節點之間的圖形處理器之間交換狀態。LASP在線性注意力方面充分利用了正確的產品核心技術。重要的是，它不依賴於關注頭分區，因此適合多頭、多查詢和分組查詢關注。

LASP使用拼貼方法將輸入序列劃分為分布在圖形處理器上的子序列塊。它將注意力計算分為塊內和塊間，以充分利用線性注意力的正確產品優勢。傳統的注意力計算在塊內使用，而內核技術在塊之間使用。該方法還包括數據分發、前向傳輸和後向傳輸機制，以提高並行處理效率。

紙張： https://arxiv.org/abs/2404.02882
論文： https://arxiv.org/abs/2404.02882
GitHub：https://github.com/OpenNLPLab/LASP

視頻：