（自從上次閱讀史丹福大學長達500頁的報告以來，我突然意識到醫學領域的人工智慧進步非常快）
@ICepfl和@YaleMed的研究人員聯手構建了Meditron，這是一個針對資源匱乏的醫療環境的法學碩士套件。對於Llama 3，他們的新模型在MedQA和MedMCQA等基準參數類別中的表現優於大多數開放模型。
研究人員發布了Meditron：為醫療領域量身定製的開源大型多模態基礎模型，用於輔助臨床決策和診斷，旨在解決低資源環境下的醫療創新挑戰
原始模型基於Lama 2構建。Llama 3發布後，研究團隊在24小時內迅速微調了新的8B型號：Llama-3[8B]-Meditron V1.0
大型語言模型（LLM）有潛力使醫學知識的獲取民主化。儘管已經做出了很多努力來利用和提高LLM的醫學知識和推理能力，但所得模型要麼是閉源的（例如PaLM、GPT-4），要麼是大小有限的（= 13 B參數）），這限制了它們的能力。
在這項工作中，通過發布MEDITRON改善了對大規模醫療LLM的訪問：一組具有7 B和70 B參數的開源LLM，適合醫療領域。MEDITRON基於Llama-2（通過我們對Nvidia的Megatron-LM分布式培訓器的改編），並擴展了全面策劃的醫學文集上的預培訓，包括精選的PubMed文章、摘要和國際公認的醫學指南。
使用四個主要醫療基準的評估顯示，與幾個最先進的基準相比，在特定任務微調前後的性能有顯著提高。
總體而言，MEDITRON比其參數類別中的最佳公共基線實現了6%的絕對性能提升，比我們從Lama-2中微調的最強基線實現了3%。與閉源LLM相比，MEDITRON-70 B的表現優於GPT-3.5和Med-PaLM，在GPT-4的5%以內，在Med-PaLM-2的10%以內。
代碼的發布是為了管理醫療預訓練文集和MEDITRON模型的權重，以推動更強大的醫療LLM的開源開發。
如果您想了解更多信息，可以單擊視頻下方的連結。
感謝您觀看此視頻。如果您喜歡，請訂閱並點讚。謝謝
連結：https://meditron-ddx.github.io/llama3-meditron.github.io/
視頻：