課程形式
線上
課程名稱
NAPAI計畫-SIGRobot#2-Real World to Digital Twin Scene: Building and Augmenting Environments for Robotics (776)
課程編號
776
課程期間
2026-04-17 ~
老師
朱宏國 (教授 / 國立清華大學)
課程類別
AI人工智慧
時數
3 (小時)
修課人數
0
標籤
數位雙生, 3D重建, 電腦圖學, 機器人模擬, 3D高斯潑濺, 實體AI, 場景重構, 朱宏國, 清華大學, NVIDIA
簡介

Real World to Digital Twin Scene: Building and Augmenting Environments for Robotics

隨著機器人技術與人工智慧的快速發展,如何在真實世界中進行安全、高效且具規模化的測試與訓練,一直是學界與業界共同面臨的挑戰。數位孿生(Digital Twin)技術的突破,使我們能夠將真實世界精準轉換為虛擬場景,為機器人建立並擴充高度擬真的互動與學習環境。這不僅大幅降低了開發成本與風險,更是加速機器人邁向自主化與智慧化的關鍵。

本講座由國立清華大學資訊工程學系朱宏國教授主講,將深入探討如何將真實世界的場景轉化為數位孿生環境,並分享建構與擴展這些虛擬場景以應用於機器人訓練的最新技術與實務經驗。透過本次講座,將帶您一窺數位孿生在機器人領域的前沿發展,掌握虛實整合的未來趨勢。

更多資訊--
5b88a4da55cc1f1e365357e39e7104d1.png

報名資訊    
報名期間
開始: 2026-09-15
總人數限制
無限制
其他資訊
承辦人
林瑞雅 / 網路學習科技研究所碩士班
葉家綸 / 土木工程學系
張珀瑞 / 土木工程學系
開課單位
教學發展中心
課程 QR code
https://ncuxms.ncu.edu.tw/course/776
課程教材
  1. 1.
    3D 擬真重建技術與高質量合成數據生成
    本段落聚焦於三維高斯潑濺(3D Gaussian Splatting, 3D GS)技術在機器人環境重建中的最新應用。課程介紹了如 Richfield Studio 等前沿工具,展示如何透過日常拍攝的照片,快速且高效地重建出具備真實光影的 3D 模型。此外,為了提升機器人在現實世界中的泛化能力,課程也探討了如何生成具備多樣化物件(Diverse Objects)與變換天氣的基礎合成數據(Basic Synthetic Data),並介紹如何直接串接相關生成式 API(如 Omniverse 平台),自動化產生高質量的訓練影片,大幅降低實體數據蒐集的門檻與成本。
  2. 2.
    場景與部件解構下的領域隨機化實務
    本段落深入探討機器人在複雜自然環境中(如橘子園的採摘任務)的物件識別與互動策略。課程首先釐清如何將 3D 模型化對象精細拆分為「部件」與「場景」,引導學員理解機器人如何辨識局部操作物件與整體環境的結構關係。為了有效彌合虛擬與現實的差距(Sim-to-Real Gap),課程進一步展示了如何透過可運行的程式碼片段(Code Snippet)實作「領域隨機化(Domain Randomization)」,包括隨機選擇光源(LightSource)、光照強度(LightIntensity)、燈光顏色以及材料的表面質感,讓機器人在模擬訓練中便能學習適應現實世界中千變萬化的物理與視覺變化。
  3. 3.
    3D高斯潑濺與具身智能模擬:從場景數位雙生到物理AI與領域隨機化實戰

    本課程深入探討如何利用3D高斯潑濺(3D Gaussian Splatting, 3DGS)技術進行高逼真度的場景與物件重建,並將其轉化為具身智能(Embodied AI)機器人可互動的虛擬模擬環境。前半部分聚焦於虛實差距(Sim-to-Real Gap)的彌補,解析如何對3DGS場景進行語意分割與物件解構、透過神經網路優化網格(Mesh)的幾何保真度,並探討結合前沿世界模型(World Model,如 NVIDIA GROOT 概念)與物理AI(Physical AI/PINN)來處理流體、熱傳導等複雜物理互動的領域特定(Domain-specific)技術趨勢。

    後半部分則側重於實作引導,帶領學員掌握從 Lumafield Studio 的3DGS訓練、到利用 AI 工具(如 Marble World Labs)由文本提示或全景圖跨越至3D場景生成的完整工作流程。最終將場景導入 NVIDIA Isaac Sim 平台,實際演練如何掛載碰撞網格(Collider Mesh)實現物理互動,並運用 Replicator 工具進行領域隨機化(Domain Randomization)以產出高質量的合成數據(Synthetic Data),進一步部署與操控自律移動機器人(AMR),為通用機器人與數位雙生的開發奠定紮實的技術閉環。