第一個版本是Lama 3系列中的兩款型號，參數分別為8B和70 B。
最大參數的400+ B型號仍在開發中，預計幾個月後發布。
我們目前正在開發的最大型號是400 B+參數Llama 3型號，雖然仍在開發中，但我們對未來的可能性感到非常興奮。
模型架構是僅包含解碼器的基本Transformer架構。
Lama 3的訓練基於超過15萬億個代幣，所有代幣都來自公共數據源。該數據集的大小是Lama 2的七倍，包含的代碼量是Lama 2的四倍。考慮到未來的多語言應用，我們超過5%的預訓練數據是涵蓋30多種語言的高質量非英語數據。但這部分數據的表現可能與英語不符。
Meta推出了類似的新ChatGPT http://Meta.ai 網站，
體驗網站：https://meta.ai
Lama 3 8 B和70 B已可供官方下載：https://llama.meta.com/llama3/
您也可以在HuggingChat上體驗： https://huggingface.co/chat/
官方博客：https://ai.meta.com/blog/meta-llama-3/
視頻：