Sim-to-Real Transfer

Identity

• Sim-to-real transferとは、シミュレーション上で学習した方策（ポリシー）を物理ロボットへ移行させる際に生じる性能劣化（reality gap）を克服するための研究領域であり、深層強化学習ロボティクスにおける中心的課題として位置づけられている。検証待ち Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics: A Survey

Capability

• この分野の代表的手法にはドメインランダム化（domain randomization）、ドメイン適応（domain adaptation）、模倣学習（imitation learning）、メタ学習、知識蒸留があり、いずれもシミュレーションと実世界のギャップを埋めることを目的とする。検証待ち Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics: A Survey
• ドメインランダム化は、シミュレーションを現実に完全に一致させるのではなく、摩擦・重力・質量などの物理パラメータやテクスチャ・照明などの描画パラメータを訓練中に意図的にランダム化することで、方策が現実世界の値を含む幅広い条件に頑健になるよう促す手法である。検証待ち Sim-to-Real Strategy 1: Domain Randomization

Credibility

• Sim-to-real transferとは、シミュレーション上で学習した方策（ポリシー）を物理ロボットへ移行させる際に生じる性能劣化（reality gap）を克服するための研究領域であり、深層強化学習ロボティクスにおける中心的課題として位置づけられている。検証待ち Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics: A Survey

Use Case

• NVIDIA Isaac Labでは、UR10eロボットによるギア組立タスクにおいて、関節の摩擦・減衰やコントローラゲイン、方策観測ノイズにドメインランダム化を適用し、シミュレーションのみで学習した方策を実機へゼロショットで転移させた事例が報告されている。検証待ち Bridging the Sim-to-Real Gap for Industrial Robotic Assembly Applications Using NVIDIA Isaac Lab

Constraints / Current Status

• シミュレーションによる学習は無制限のデータ取得と安全性の確保という利点を持つ一方、実世界での直接学習と異なりシミュレーションと実環境の物理的・視覚的な差異（reality gap）が性能劣化を引き起こすため、この差異を埋める専用の技術群が必要とされる点が特徴である。検証待ち Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics: A Survey

Key References

• 産業用ロボットの学習にNVIDIA Isaac Labのsim-to-real事例を参考にするメリットは何ですか？
• Sim-to-real transferに関する体系的な研究のまとめはどこで確認できますか？
• Sim-to-real transferとは何ですか？