Real World to Digital Twin Scene: Building and Augmenting Environments for Robotics
隨著機器人技術與人工智慧的快速發展,如何在真實世界中進行安全、高效且具規模化的測試與訓練,一直是學界與業界共同面臨的挑戰。數位孿生(Digital Twin)技術的突破,使我們能夠將真實世界精準轉換為虛擬場景,為機器人建立並擴充高度擬真的互動與學習環境。這不僅大幅降低了開發成本與風險,更是加速機器人邁向自主化與智慧化的關鍵。
本講座由國立清華大學資訊工程學系朱宏國教授主講,將深入探討如何將真實世界的場景轉化為數位孿生環境,並分享建構與擴展這些虛擬場景以應用於機器人訓練的最新技術與實務經驗。透過本次講座,將帶您一窺數位孿生在機器人領域的前沿發展,掌握虛實整合的未來趨勢。
本課程深入探討如何利用3D高斯潑濺(3D Gaussian Splatting, 3DGS)技術進行高逼真度的場景與物件重建,並將其轉化為具身智能(Embodied AI)機器人可互動的虛擬模擬環境。前半部分聚焦於虛實差距(Sim-to-Real Gap)的彌補,解析如何對3DGS場景進行語意分割與物件解構、透過神經網路優化網格(Mesh)的幾何保真度,並探討結合前沿世界模型(World Model,如 NVIDIA GROOT 概念)與物理AI(Physical AI/PINN)來處理流體、熱傳導等複雜物理互動的領域特定(Domain-specific)技術趨勢。
後半部分則側重於實作引導,帶領學員掌握從 Lumafield Studio 的3DGS訓練、到利用 AI 工具(如 Marble World Labs)由文本提示或全景圖跨越至3D場景生成的完整工作流程。最終將場景導入 NVIDIA Isaac Sim 平台,實際演練如何掛載碰撞網格(Collider Mesh)實現物理互動,並運用 Replicator 工具進行領域隨機化(Domain Randomization)以產出高質量的合成數據(Synthetic Data),進一步部署與操控自律移動機器人(AMR),為通用機器人與數位雙生的開發奠定紮實的技術閉環。