課程形式
線上
課程名稱
NAPAI計畫-SIGRobot#4-Grounding VLA Decision-Making: Integrating High-Fidelity Digital Twin Scenes for Robotic Autonomy (778)
課程編號
778
課程期間
2026-05-15 ~
老師
姚智原 (副教授 / 國立臺灣科技大學)
課程類別
AI人工智慧
時數
3 (小時)
修課人數
0
標籤
電腦圖學, NVIDIA Groot, 合成資料生成, 物理模擬, Isaac Sim, Omniverse, 視覺語言模型, 人形機器人, 3D軌跡, Genesis物理引擎
簡介

Grounding VLA Decision-Making: Integrating High-Fidelity Digital Twin Scenes for Robotic Autonomy

在機器人邁向通用人工智慧(General AI)的浪潮中,將 NVIDIA GR00T 基礎模型落地至真實機械手臂仍面臨許多實務挑戰。本講座由國立臺灣科技大學資訊工程學系姚智原副教授帶領數位發展研究中心團隊,從電腦圖學視角剖析 GR00T 雙系統架構(VLM 至 Diffusion Model)與模型演進,聚焦於 Post-training 微調與合成資料生成的關鍵價值。

內容更涵蓋完整的實作經驗:結合 3D Gaussian Splatting 建置 URDF 模擬環境,並於 Isaac Sim 與 Genesis 引擎中透過遙操作採集資料與進行相機校正;最後比較兩部署路線在 LiftCube、TouchLemon 與 Rubik's Cube 任務上的虛實推論成效,並利用注意力視覺化深入分析成功與失敗案例的差異。

更多資訊--
5b88a4da55cc1f1e365357e39e7104d1.png

報名資訊    
報名期間
開始: 2026-09-15
總人數限制
無限制
其他資訊
承辦人
林瑞雅 / 網路學習科技研究所碩士班
葉家綸 / 土木工程學系
張珀瑞 / 土木工程學系
開課單位
教學發展中心
課程 QR code
https://ncuxms.ncu.edu.tw/course/778
課程教材
  1. 1.
    三維生成技術與生成式 AI 在電腦圖學之應用
    本段落由成功大學楊中豪老師主講,深入探討電腦圖學(Computer Graphics, CG)與生成式 AI(Generative AI)在 3D 重建與生成領域的最新前沿發展。課程系統化梳理了從傳統 3D 建模到現代神經渲染技術的演進軌跡,著重解析當前最熱門的「三維高斯潑濺(3D Gaussian Splatting, 3DGS)」、神經輻射場(NeRF)以及擴散模型(Diffusion Models)等核心架構。課程不僅從底層數學與物理光學原理解析這些前沿技術如何實現高擬真的空間纹理還原,更探討了如何利用提示詞(Prompt)或單張 2D 影像快速生成多視角且具備高度幾何一致性的 3D 虛擬資產(Asset)。最後,本章節深入思辨生成式 AI 在圖學與通用機器人模擬環境建置(Real-to-Sim)中所面臨的泛化性挑戰、資料擴展性瓶頸,以及業界未來的實務布署路徑,為學員打開結合人工智慧與虛擬世界重建的全新視野。