繁中

開源工具將草圖轉化為令人驚嘆的3D繪圖

Vibe Draw通過簡單的繪圖界面,允許用戶在2D畫布上自由繪圖,然後使用「改進繪圖」功能來細化草圖,然後通過「製作3D」按鈕將其轉換為3D模型。

該GitHub項目是一款開源人工智慧工具,旨在將用戶手繪草圖快速轉化為交互式3D模型,降低3D建模的技術門檻,適合教育、創意設計等多個領域。

項目居間

Vibe Draw通過以下步驟從草圖轉換為3D模型:

  1. 素描:用戶在2D畫布上自由繪畫。
  2. 優化草圖:點擊「改進繪圖」按鈕,AI會將草圖優化為更細的圖像。
  3. 生成3D模型:點擊「製作3D」按鈕,系統將優化後的圖像轉換為3D模型。
  4. 構建3D世界:在「3D世界」選項卡中,用戶可以組合多個3D模型來構建完整的場景。
  5. 疊代優化:用戶可以通過再次繪製或輸入「製作城堡特勒」等文本提示進一步優化模型。
  6. 導出模型:一鍵導出為標配 .glTF 格式可在Unity和Blender等工具中輕鬆編輯。

🧠技術架構

  • 前端:使用Next.js和React構建,結合TLDRaw實現2D繪製,結合Three.js實現3D渲染,結合Zustand管理狀態。
  • 後端:基於FastAPI,Celery用於處理同步任務,Redis實現實時通信,SSE(伺服器發送事件)用於實時進度更新。
  • AI支持:集成Claude、Gemini、Cerebras和PiAPI等多種人工智慧模型,用於圖像識別和自然語言處理。

關注項目亮點

  • 教育應用:在兒童教育方面,Vibe Draw可以將兒童簡單的繪畫變成生動的3D世界,激發創造力和空間思維能力。
  • 開源共享:該項目採用AAPL-3.0許可證,擁有超過18,000顆星和263個叉,社區活躍。
  • 快速部署:前端使用Node.js 18+,後台使用Python 3.10+。支持Docker部署,輕鬆快速入門。

項目總部作者

該項目由加拿大滑鐵盧大學計算機科學專業學生Martin Sit開發,他曾在Shopify實習,擁有多個快速發展的人工智慧項目的經驗。

Github:https://github.com/martin226/vibe-draw

輸油管:

返回頂端