NAPAI計畫-SIGRobot#3-Dive into Digital Twins for Robotics: Architecting with USD, Isaac Sim, and Isaac Lab

課程形式

線上

課程名稱

NAPAI計畫-SIGRobot#3-Dive into Digital Twins for Robotics: Architecting with USD, Isaac Sim, and Isaac Lab (777)

課程編號

777

課程期間

2026-04-29 ~

老師

潘則佑 (助理教授 / 國立臺灣科技大學)

課程類別

AI人工智慧

時數

3 (小時)

修課人數

標籤

數位雙生, Isaac Sim, NVIDIA, 機器人模擬, Isaac Lab, 強化學習, USD, 臺科大, 物理模擬, 潘則佑

簡介

Dive into Digital Twins for Robotics: Architecting with USD, Isaac Sim, and Isaac Lab

隨著機器人技術邁向高度複雜化，打造精準且高效的模擬環境成為開發過程中的核心關鍵。數位孿生（Digital Twin）技術結合強大的模擬工具，能大幅加速機器人的開發、測試與演算法部署。掌握 USD（Universal Scene Description）場景描述框架，以及運用 NVIDIA 的 Isaac Sim 與 Isaac Lab 等先進平台，更是建構次世代機器人高擬真虛擬測試環境的必備利器。

本講座由國立臺灣科技大學人工智慧跨域科技研究所潘則佑助理教授主講，將帶領大家深入探索機器人領域的數位孿生技術。講座中將詳細剖析如何運用 USD 架構，並結合 Isaac Sim 與 Isaac Lab 平台，打造高效能的機器人模擬與訓練環境。透過本次講座，您將能掌握加速機器人開發的實戰技術，進一步探索智慧機器人應用落地的無限潛能。

更多資訊--

NAPAI官網：https://napaincu.github.io

報名資訊

報名期間

開始: 2026-09-15

總人數限制

無限制

其他資訊

承辦人

林瑞雅 / 網路學習科技研究所碩士班

葉家綸 / 土木工程學系

張珀瑞 / 土木工程學系

開課單位

教學發展中心

課程 QR code

https://ncuxms.ncu.edu.tw/course/777

課程教材

1.
數位雙生（Digital Twin）架構與機器人模擬前瞻
本段落由台科大潘哲佑老師主講，深入探討數位雙生（Digital Twin）在通用機器人領域的核心角色與發展。課程系統化拆解了數位雙生平台的四大核心功能：首先是將真實世界重建至虛擬環境的「Real-to-Sim」（如利用 3D 全景影像與 3D Gaussian Splatting 前沿技術進行空間與物件重建）；其次是高擬真的物理模擬（含液體與軟性薄膜薄膜等高難度材質）；再者是讓機器人學習智慧決策與感知的機器人學習（Robotic Learning），擺脫過去工廠機器人只能重複單一軌跡的限制；最後則是將成果布署（Deploy）回真實世界。本課程將以 NVIDIA Isaac Sim 與 Isaac Lab 平台為核心，並透過 Discord 社群進行實作互動。
1. 1.1
  28:21
  
  NAPAI SIGRobot#3 part1 Isaac Sim Tutorial (20260429)
2.
NVIDIA Isaac Sim 介面導覽與基礎資產操作
本段落深入介紹 NVIDIA Isaac Sim 模擬平台的介面導覽與基礎資產操作流程。課程首先引導學員透過執行批次檔啟動軟體，並針對啟動失敗進行硬體規格與安裝步驟的異常排查。接著系統性解析 Isaac Sim 的五大核心介面，包含選單列、Viewport 3D 視角視窗、Asset 瀏覽器、呈現物件父子層級關係的 Stage 場景樹，以及調整旋轉與縮放等參數的 Property 屬性面板。此外，平台內建豐富的生態系資產，涵蓋工廠場景、機械手臂、無人載具，以及 CMOS、深度與力回饋等感測器模擬。最後，學員將學習如何辨識雲端資產，並以直覺的拖曳方式將物件或工廠大場景匯入虛擬空間中，透過調整空間位移並截圖上傳來完成基礎的實作驗證。
1. 2.1
  06:53
  
  NAPAI SIGRobot#3 part2 Quickstart with Isaac Sim (20260429)
3.
Isaac Sim 多元環境建置與物理模擬實作
本段落深入探討在 NVIDIA Isaac Sim 中建置擬真虛擬場景的三種核心操作方式，包含圖形使用者介面（GUI）、軟體內建擴充功能（Extension）的 Script Editor，以及目前最主流且業界常結合 VS Code 與 Conda 虛擬環境控制的 Python 腳本編寫。課程首先透過 GUI 與程式碼演示如何加入基礎地面（Ground Plane）與調整遠距光源（Distance Light）參數，以最大程度貼近真實場域的光影變化，藉此提升後續機器人視覺辨識的準確度。接著，學員將透過實作虛擬方塊（Vision Cube）來學習空間位移（Translation）、旋轉（Rotation）與縮放（Scaling）的基礎控制，並著重介紹如何為物件設定剛體（Rigidbody）與碰撞體（Collider）等關鍵物理屬性，以避免物件因缺乏地心引力而漂浮，或因缺少碰撞設定而穿透地平線。最後，課程特別分享了動態載入 Simulation App 時不可忽略的程式碼順序踩坑實錄，並引導學員透過 Python 迴圈腳本同時生成三個具備不同物理行為的方塊，完成模擬測試後截圖上傳至 Discord 以驗證實作成果。
1. 3.1
  22:59
  
  NAPAI SIGRobot#3 part3 Editing Modes Overview (20260429)
4.
OpenUSD 場景整合與 Python 腳本控制
本段落深入探討如何在 NVIDIA Isaac Sim 中透過 OpenUSD 格式進行 3D 場景與物件的控制與管理，讓學員能夠在 GUI 匯入場景與機器人後，接續使用 Python 腳本進行物理與碰撞參數的微調. 課程首先詳細介紹了由皮克斯定義的 Universal Scene Description（USD）資料格式，並解析可直觀編輯的純文字 USDA 格式與讀取速度較快的二進位 USD 格式之間的差異. 接著，針對跨設備傳輸與資產遺失的痛點，說明了 File 功能中的三種儲存機制，並推薦使用能完整打包專案資料夾的「Collect and Save As」方式以確保跨平台讀取的穩定性. 最後，課程演示了載入舊有場景的兩種操作路徑：若需對場景進行二次修改可直接使用「Open」，而若要唯讀保護、防止他人誤觸更動，則可透過「Add Reference」方式載入，為後續複雜的模擬控制奠定扎實的場景管理基礎。
1. 4.1
  06:23
  
  NAPAI SIGRobot#3 part4 USD in Isaac Sim (20260429)
5.
輪式機器人驅動配置與多關節關節體（Articulation）設定
本段落從基礎的物理物件過渡到實用的機器人元件建置，深入探討如何在 NVIDIA Isaac Sim 中讓一輛虛擬的兩輪/四輪機器小車「動起來」。課程系統化解析機器人運動的核心機制，著重介紹關鍵的關節體（Articulation）與驅動器概念，教導學員如何選取車體與輪胎物件，並透過介面將其綁定在同一個關體層級下，以實現多關節與輪軸的連動。此外，課程也引導學員針對差速驅動（Differential Drive）等移動特性進行物理參數的配置與優化，並搭配後半段的操作影片進行直觀的操作流程演示，協助學員以最簡單高效的方式完成輪式載具的移動控制與實作驗證。
1. 5.1
  13:45
  
  NAPAI SIGRobot#3 part5 Articulation、Drive and Joint (20260429)
6.
機械手臂 URDF 匯入與運動學控制實務
本段落深入探討在 NVIDIA Isaac Sim 中匯入與配置機械手臂（以 Franka Panda 手臂為例）的完整實務流程。課程首先介紹如何透過直接匯入 URDF 檔案來快速建構虛擬手臂，並引導學員利用右上角的 Stage 面板檢視比一般輪式機器人更為複雜的多關節（Joint）與驅動器（Articulation）結構。為使虛擬模擬更貼近真實現況，課程詳細解析了物理檢查器（Physics Inspector）中剛性（Stiffness）與阻尼（Damping）兩大核心參數的調校技巧，藉由模擬彈簧受力回復與關節抗拒速度變化的物理特性，修正廠商提供檔案與預期形態的落差。此外，本章節系統化對比了正向運動學（FK）與逆向運動學（IK）的底層推論邏輯，並著重實作如何運用內建的 Lula IK Solver，讓機械手臂的夾爪（End-Effector）能即時追蹤並對位場景中的目標方塊（Cube）。最後，課程引導學員認識並安裝 RMPflow 擴充功能，藉此優化手臂的軌跡路徑，確保機器人在執行複雜移動任務時能展現流暢且穩定的運動表現。
1. 6.1
  12:06
  
  NAPAI SIGRobot#3 part6 Controlling Robotic Arms (20260429)
7.
Isaac Lab 開源框架與機器人強化學習訓練
本段落深入介紹 NVIDIA 建構於 Omniverse 與 Isaac Sim 之上的最新開源框架「Isaac Lab」，並系統化解析其在通用機器人訓練中的關鍵角色。課程首先提供 Windows 與 Linux 環境的安裝指南，接著聚焦於 Isaac Lab 的核心功能——協助開發者在虛擬場景中高效進行強化學習（RL）與模仿學習（IL）的訓練。學員將學習如何利用 Isaac Sim 繪製 3D 物件後，無縫導入 Isaac Lab 框架，透過自訂 reward function 或人類展示的示範軌跡來應對複雜多變的情境。此外，課程亦展示了如何下載現成場景來一次進行大規模、多物件的平行訓練，並透過 NVIDIA 訓練機械狗避障與轉彎的實際案例，說明「Sim-to-Real」從模擬無縫布署到真實世界（Deploy）的移轉流程。最後，課程引導學員認識兩種不同的開發模式與 Script 腳本的工作流（Workflow）配置，為實現通用機器人的智慧感知與決策訓練奠定前瞻基礎。
1. 7.1
  04:58
  
  NAPAI SIGRobot#3 part7 Isaac Lab Tutorial (20260429)
8.
強化學習與模仿學習的 Isaac Lab 實作訓練
本段落深入探討如何利用 NVIDIA Isaac Sim 與 Isaac Lab 框架進行強化學習（RL）與模仿學習（IL）的機器人核心訓練。課程首先說明強化學習中「獎勵函數（Reward Function）」的設計要點，並預告後續將由臺大專家帶來更深度的理論介紹。接著，課程聚焦於實作演練，引導學員透過調整參數與迭代次數（Iteration），讓虛擬機器手臂在多次訓練中自我優化夾取動作。隨著訓練次數增加，學員能直觀觀察到機器人從最初的生疏摸索，逐步具備高穩定性並學會正確的夾取策略，最終呈現出極為流暢的自動化運動表現，以此驗證模擬訓練在提升決策感知上的強大實用價值。
1. 8.1
  06:37
  
  NAPAI SIGRobot#3 part8 Reinforcement Learning & Imitation Learning(20260429)

課程資訊

課程資訊