一款高自由度的端到端可定製的AI-VTuber。
支持與北里直播間對接,採用智能頻譜API作為語言庫模型,具有意圖識別、長期和短期記憶(直接記憶和聯想記憶),支持認知庫、歌曲作品庫的建設,並連接到一些當前流行的語音轉換、文本到語音、圖像生成、數字人類驅動項目,並提供易於操作的客戶端。
該項目的特點:
1.該項目對本地圖形卡的要求並不高。能夠正常運行穩定擴散的計算機基本上可以安心吃這個項目。
2.這個項目的面積可能比較大(全面部署後大約20克,不算第三方項目),主要是因為虛擬環境比較大,這個問題將來會得到解決。
3.該項目內置miniconda 3管理虛擬環境,允許用戶自行擴展第三方模塊。
4.該項目提供了一個可視化客戶端(基於流媒體框架構建),支持:環境管理、虛擬主播定製、擴展項目的自啟動、一些實用的小部件、直播後台監控、圖形資料庫編輯等操作。
5.該項目為so-vits-svc4.1項目提供一站式訓練推理服務。
6.該項目提供了一個後台API伺服器,支持通過獲取/發布請求獲取項目的大部分服務。
7.該項目支持虛擬主播模板構建、多人模板管理、虛擬主播模板實時切換等操作。
8.在當前版本中,該項目連接的開源項目包括:so-vits-svc4.1(語音轉換)、GPT-Sovits(文本到語音)、UVR 5(人聲分離)、fast-whisper(語音識別)、stable-diffusion-webui(圖像生成)、stable-diffusion-comfyui、easyaivtub(數字人類驅動)、rembg(背景減法)
9.該項目提供的實用小工具包括:視頻/音頻爬蟲、語音識別、人聲分離、文本到語音、語音轉換、人工智慧繪製和圖片背景去除。
10.該項目通過構建角色提示詞模板、基於知識地圖查詢的認知/工作知識庫、基於載體資料庫的知識庫查詢來構建人工智慧虛擬錨角色(技術實現可用於查看作者的語言文檔或博客)。
如果您想了解更多信息,可以單擊視頻下方的連結。
感謝您觀看此視頻。如果您喜歡,請訂閱並點讚。謝謝
GitHub:https://github.com/whoiswennie/AI-Vtuber
輸油管: