繁中

Storm:創新的寫作系統

它由史丹福大學研究人員開發,旨在利用大語言模型從頭開始自動撰寫具有維基百科廣度和深度的長文章。

STORM可以自動從多個角度收集信息,並通過模擬專家提問等對話過程來創建大綱,最終生成帶有引文的文本,並逐節撰寫完整的文章。

主要挑戰和解決方案:

挑戰:維基百科風格的文章需要深入的研究和規劃,包括大量的參考材料收集和詳細的大綱。現有的生成維基百科文章的工作通常繞過這個預寫階段。

解決方案:STORM通過模擬人類寫作過程的寫作前、起草和修改階段(尤其是在寫作前階段)來自動化該過程,並通過有效的提問來自動化該過程。

STORM的工作流程:

1.發現不同的觀點:STORM首先通過檢索和分析與給定主題相似的維基百科文章,從多個來源和角度探索主題,以確保內容的全面性和深度,並在研究主題時發現多元化的角度。

2.模擬對話:接下來,系統模擬作者向主題專家提問的對話過程。這一步使用LLM生成深入的問題,旨在從不同角度加深對主題的理解。這些對話基於網際網路上的可信資源。

3.創建大綱:根據收集的信息和提出的問題,STORM自動創建文章的大綱。本大綱旨在組織文章的結構,以確保內容覆蓋的廣度和深度。

在最後的寫作階段,STORM生成帶有引用的文本,並逐節撰寫完整的文章。

STORM系統旨在解決以下主要問題:

1.寫前研究的自動化:在傳統的長文章撰寫過程中,寫前研究(包括主題研究、信息收集和大綱製作)是一項耗時且複雜的任務。通過自動化這一過程,STORM幫助作者有效地收集和組織他們所需的信息,從而提高寫作效率。

2.多個角度的信息整合:對於任何特定主題,從不同角度探索和理解信息是撰寫全面深入文章的關鍵。STORM通過模擬對話問題,自動從多個角度收集和組織主題相關信息,確保文章內容的全面性和深度。

3.生成結構化的文章大綱:清晰、邏輯的文章大綱是高質量寫作的基礎。STORM系統創新地使用檢索到的信息和問題來自動創建大綱,幫助作者在寫作過程中保持組織性和目標明確。

4.提高文章質量:通過上述自動化的預寫研究和大綱製作流程,STORM旨在生成更有組織性、內容覆蓋更廣泛的文章,從而直接提高最終文章的質量。

評價結果:

Freshwiki數據集:為了評估STORM系統,研究團隊創建了Freshwiki數據集,該數據集包含最新的高質量維基百科文章,以測試系統生成的文章的質量。

概述質量評估:通過專家評審和自動化評估方法,STORM生成的大綱在組織和覆蓋範圍方面表現良好,與基線模型相比有顯著改進。

提高寫作質量:與基於大綱驅動搜索增強基線生成的文章相比,STORM生成的文章在組織(絕對增加25%)和覆蓋範圍(增加10%)方面表現更好。

專家反饋:經驗豐富的維基百科編輯的反饋也證實了STORM在生成有充分證據的長文章方面的有效性,並指出了未來改進的方向,例如來源偏見的轉移和無關事實的過度相關性。

論文:https://arxiv.org/abs/2402.14207
PDF:https://arxiv.org/pdf/2402.14207.pdf

視頻:

返回頂端