通過使用給定的文本提示、和弦序列、旋律線索、音樂主題或形式等條件。
ChatMusician可以自動生成結構完整、風格多樣的音樂作品。
包括單部分旋律、和聲編曲，甚至音樂的完整結構設計。
它還可以理解和分析音樂理論的各個方面。
通過對LLaMA 2的持續預訓練和微調，ChatMusician結合了文本兼容的音樂表示法（ABC符號），使模型能夠在處理語言文本時理解和生成音樂。
ABC符號是一種以文本字符表示音樂的方式，它將音符，節奏和其他音樂元素轉換為可以通過鍵盤輸入的字符。這種表示的優點是它允許像處理文本語言一樣處理音樂。簡單地說，它允許模型「閱讀」和「編寫」音樂，就像它處理英語或其他自然語言文本一樣。
主要功能：
1.音樂世代：ChatMusician可以根據文本提示、和弦序列、旋律線索、音樂主題或曲式等給定條件，自動生成結構完整、風格多樣的音樂作品。這包括單聲部旋律、和聲編曲，甚至音樂的完整結構設計。性能超過GPT-4基線。
2.音樂理解：這個模型不僅可以創作音樂，還可以理解和分析音樂理論的各個方面，例如和聲分析、旋律結構、音樂形式等，這使得ChatMusician在音樂教育和理論分析中發揮作用。在專門設計的大學級音樂理解基準MusicTheoryBench上，ChatMusician在零樣本設置下的表現優於LLaMA 2和GPT-3.5，展示了其在音樂理論理解方面的出色表現。
資源共享：該項目為研究和教育提供大規模的音樂語言語料庫、音樂理論平台、模型代碼和在線演示。
項目地址：https://shanghaicannon.github.io/ChatMusician/
論文：https://arxiv.org/abs/2402.16153
視頻：