Vibe Draw通過簡單的繪圖界面,允許用戶在2D畫布上自由繪圖,然後使用「改進繪圖」功能來細化草圖,然後通過「製作3D」按鈕將其轉換為3D模型。
該GitHub項目是一款開源人工智慧工具,旨在將用戶手繪草圖快速轉化為交互式3D模型,降低3D建模的技術門檻,適合教育、創意設計等多個領域。
項目居間
Vibe Draw通過以下步驟從草圖轉換為3D模型:
- 素描:用戶在2D畫布上自由繪畫。
- 優化草圖:點擊「改進繪圖」按鈕,AI會將草圖優化為更細的圖像。
- 生成3D模型:點擊「製作3D」按鈕,系統將優化後的圖像轉換為3D模型。
- 構建3D世界:在「3D世界」選項卡中,用戶可以組合多個3D模型來構建完整的場景。
- 疊代優化:用戶可以通過再次繪製或輸入「製作城堡特勒」等文本提示進一步優化模型。
- 導出模型:一鍵導出為標配
.glTF格式可在Unity和Blender等工具中輕鬆編輯。
🧠技術架構
- 前端:使用Next.js和React構建,結合TLDRaw實現2D繪製,結合Three.js實現3D渲染,結合Zustand管理狀態。
- 後端:基於FastAPI,Celery用於處理同步任務,Redis實現實時通信,SSE(伺服器發送事件)用於實時進度更新。
- AI支持:集成Claude、Gemini、Cerebras和PiAPI等多種人工智慧模型,用於圖像識別和自然語言處理。
關注項目亮點
- 教育應用:在兒童教育方面,Vibe Draw可以將兒童簡單的繪畫變成生動的3D世界,激發創造力和空間思維能力。
- 開源共享:該項目採用AAPL-3.0許可證,擁有超過18,000顆星和263個叉,社區活躍。
- 快速部署:前端使用Node.js 18+,後台使用Python 3.10+。支持Docker部署,輕鬆快速入門。
項目總部作者
該項目由加拿大滑鐵盧大學計算機科學專業學生Martin Sit開發,他曾在Shopify實習,擁有多個快速發展的人工智慧項目的經驗。
Github:https://github.com/martin226/vibe-draw
輸油管: