資料來源：@kuchaev
Nemotron-4 340 B是一系列經過優化的模型，可與NVIDIA NeMo和NVIDIA TensorRT-LLM配合使用，包括最先進的指令模型和獎勵模型，以及用於生成式人工智慧訓練的數據集。
英偉達今天宣布推出Nemotron-4340 B，這是一組開源模型，開發人員可以使用它來生成合成數據，用於訓練大型語言模型（LLM），用於醫療、金融、製造、零售等行業的應用。商業應用。
高質量的訓練數據對於自定義大型語言模型的性能、準確性和響應質量至關重要，但強大的數據集可能昂貴且難以獲得。
Nemotron-4 340 B通過獨特的開放模型許可證，為開發人員提供了一種免費的、可擴展的方式來生成合成數據，以幫助構建強大的大型語言模型。
Nemotron-4 340 B系列包括基本模型、指令模型和獎勵模型，它們形成了用於生成和改進大型語言模型訓練數據的管道。這些模型經過優化，可與NVIDIA NeMo配合使用，這是一個用於端到端模型培訓的開源框架，包括數據規劃、定製和評估。它們還經過優化，可以使用開源NVIDIA TensorRT-LLM庫進行推理。
Nemotron-4 340 B現已可從Hugging Face下載。開發人員很快就可以在http://ai.nvidia.com上訪問這些模型，它們將被打包為NVIDIA NIM微服務，並提供可以部署在任何地方的標準應用程式編程接口。
使用Nemotron生成合成數據在對大型、多樣化的標記數據集的訪問受到限制的情況下，大型語言模型可以幫助開發人員生成合成訓練數據。
Nemotron-4 340 B指令模型創建多樣化的合成數據並模擬現實世界數據的特徵，從而提高數據質量並增強各領域自定義大型語言模型的性能和穩健性。
然後，為了進一步提高人工智慧生成數據的質量，開發人員可以使用Nemotron-4 340 B獎勵模型來篩選高質量的響應。Nemotron-4 340 B獎勵模型根據五個屬性對響應進行評分：有用性、正確性、一致性、複雜性和冗長性。它目前在Hugging Face的RewardBench排名中排名第一，該排名由AI 2創建，旨在評估獎勵模型的能力、安全性和潛在問題。
在這個合成數據生成管道中，（1）首先，使用Nemotron-4 340 B指令模型來生成合成文本輸出。然後，（2）評估模型Nemotron-4 340 B獎勵模型評估生成的文本提供反饋，以指導疊代改進並確保合成數據準確、相關並滿足特定要求。研究人員還可以將其專有數據與包含的HelpSteer 2數據集結合起來，通過定製Nemotron-4 340 B基本模型來創建自己的命令或獎勵模型。
使用NeMo進行微調，使用TensorRT-LLM進行優化推理使用開源NVIDIA NeMo和NVIDIA TensorRT-LLM，開發人員可以優化指令和獎勵模型的效率，以生成合成數據和評分響應。
所有Nemotron-4 340 B模型都通過TensorRT-LLM進行了優化，以利用Tensor並行性，這是一種模型並行性，其中各個權重矩陣在多個GPU和伺服器之間進行拆分，以實現大規模的高效推理。
Nemotron-4 340 B基本模型在900萬億個代幣上訓練，可以使用NeMo框架進行定製，以適應特定的用例或領域。這個微調過程受益於大量的預訓練數據，可以為特定下游任務提供更準確的輸出。
NeMo框架提供多種定製方法，包括監督式微調和參數的高效微調方法，例如低等級自適應（LoRA）。
為了提高模型質量，開發人員可以使用NeMo Aligner和由Nemotron-4 340 B獎勵模型注釋的數據集來對齊模型。對齊是訓練大型語言模型的關鍵一步，模型的行為通過人類反饋強化學習（RL HF）等算法進行微調，以確保其輸出安全、準確、適合上下文，並與其預期目標一致。
尋求企業級支持和生產環境安全的企業還可以通過雲原生NVIDIA AI Enterprise軟體平台訪問NeMo和TensorRT-LLM，該平台為生成性AI基礎知識提供了加速、高效的運行時環境。
評估模型安全性並開始使用Nemotron-4 340 B命令模型進行廣泛的安全評估，包括對抗性測試，並在廣泛的風險指標上表現良好。用戶仍應仔細評估模型的輸出，以確保生成的合成數據適當、安全和準確。
有關型號安全和安全評估的更多信息，請閱讀型號卡。
欲了解更多詳細信息，您可以閱讀原文，可在以下連結中找到
感謝您觀看此視頻。如果您喜歡，請訂閱並點讚。謝謝
通過Hugging Face下載Nemotron-4 340 B型號： https://huggingface.co/collections/nvidia/nemotron-4-340b-666b7ebaf1b3867caf2f1911 。
有關更多詳細信息，請閱讀關於模特：https://research.nvidia.com/publication/2024-06_nemotron-4-340b
和數據集：https://arxiv.org/abs/2406.08673 研究論文。
輸油管：