了解しました。Franka Emikaの協働ロボット「Panda」と機械学習・強化学習を統合した研究論文を調査します。特に、研究用途での応用に焦点を当て、学術論文や実験的プロジェクトに基づいた事例を中心にまとめます。
完了次第、論文タイトル、著者、概要、使用された手法（例：深層強化学習、模倣学習など）、そしてリンクを含めてご報告します。
Franka Emika社製コラボレーティブロボット「Panda」を用いた機械学習統合研究（主に強化学習）の最新動向を以下にまとめます。
Pandaに対する強化学習統合の主な研究
Pandaアームを対象に、強化学習（RL）を活用したロボット操作の研究が数多く報告されています。表1に、2020年以降の代表的な研究を学習手法・目的/応用・使用環境・成果と共に比較してまとめます。
| 論文 (著者・年) | 学習手法 | 目的・応用 | 使用環境 | 成果・評価 |
|---|---|---|---|---|
| panda-gym: Open-Source Goal-conditioned Environments for Robotic LearningQuentin Gallouédec et al., 2021 (E. Centrale de Lyon) | マルチゴール深層強化学習（オフポリシーRL、HER対応） | 把持・操作タスク（到達、押出し、スライド移動、把持配置、積み上げ） | PyBullet (OpenAI Gym統合環境) | Panda向けの5種のマルチ目標タスク環境を公開し、最新モデルフリーRL手法のベースライン性能を提示。オープンソース環境として研究の再現性向上に貢献。 |
| Open-Source RL Environments in MuJoCo with Franka ManipulatorZichun Xu et al., 2023 (HIT, China) | マルチゴール強化学習（DDPG, SAC, TQCによる検証） | 把持・操作タスク（押出し、スライド移動、把持配置） | MuJoCo (Gymnasium Robotics API) | Pandaの3種タスクをMuJoCo上に実装し公開。高忠実度の接触シミュレーション環境を提供し、オフポリシーRLで学習可能なことを検証（各タスクでベンチマーク結果提示）。 |
| Synchronous vs Asynchronous RL in a Real RobotAli Parsaee et al., 2023 (U. Alberta) | オンポリシーRL (A3C/A2C) の実機実行方式比較 | 視覚フィードバックに基づくエンドエフェクタ位置あわせ（ターゲット到達タスク） | 実機 (Panda腕＋Webカメラ、BeanBag標的) | 同期型vs非同期型RLを実機Pandaで比較検証。非同期型RLエージェントは学習が速く累積報酬も有意に向上。環境変化が速い実時間制御で、非同期処理により応答遅れを低減し性能向上を実証。 |
| Revisiting Constant Negative Rewards for Goal-Reaching TasksGautham Vasan et al., 2024 (U. Alberta/Amii) | 強化学習の報酬設計比較（スパース報酬:毎時刻定値負 vs 密報酬） | ゴール到達タスク（物体把持や目標位置到達など）※Franka実機含む視覚到達 | 実機 (Pandaほか計4種ロボット; ReLoDリアルタイム学習) | 最終目標到達まで定常負報酬のみ与える最小時間定式化が、密報酬より高品質な方策を学習し得ると示唆。実機Panda等で画象ベースの方策を2～3時間でゼロから学習可能と報告。初期方策の目標到達率が学習成功の早期指標となることも示した。 |
| Minimizing Human Assistance: Augmenting a Single Demonstration for Deep RLAbraham George et al., 2023 (CMU) | デモ＋強化学習（DDPG+HERに人間デモ拡張を統合） | ブロック操作タスク（押す・把持配置・ブロック二段積み）※VRテレオペによる単一デモ入力 | PyBullet (PandaGymタスク, VR収集デモ) | 単一の人間デモから生成した擬似デモをリプレイバッファに追加し学習を促進。Pick&Placeタスクで学習時間を1/4以下に短縮(80%成功到達まで)し、従来RL単体では解けなかったブロック積み上げも解決。VRデモは数分で取得可能で、多少質が低くても性能向上を確認。 |
| RL for Robotic Rock Grasp in Off-Earth Env.Anton B. Andersen et al., 2022 (Aalborg Univ.) | 深層強化学習（PPO）＋ドメインランダム化 | 岩石サンプルの6-DoF把持（火星地形上の不定形物体の把持回収） | Isaac Gym (並列高速シミュレータ) | Isaac Gym上で並列学習し、91.5%の成功率でランダム形状岩を把持可能に。地形・物体形状の大規模ランダム化でロバストな方策獲得に成功し、将来の実機移行に向け有望と報告（通信遅延が大きい惑星探査で自律把持を目指す）。 |
| Simulated and Real Robotic Reach, Grasp, Pick-and-Place (RL+Trad)Andrew Lobbezoo et al., 2023 (U. Waterloo) | 強化学習（PPO, SAC）＋従来制御のハイブリッド | 基本操作タスク（物体への到達・把持・配置）※シミュレーションで学習し実機検証 | PyBullet (シミュレーション)＋実機 (Panda, ROS/FCI) | シミュレータ上で学習したRLエージェントをMoveIt/ROS経由でPanda実機に適用し、到達・把持タスクへの適用可能性を検証。安全のため段階的動作制御を導入し、実環境でRL制御が機能することを実証。工場のピック＆プレース自動化に向けたRL適用の有望性を示す結果となった。 |
| Lifelong Robotic RL by Retaining ExperiencesAnnie Xie et al., 2022 (Stanford Univ.) | マルチタスク終身学習（逐次タスク経験リプレイ活用） | 連続タスク学習（ボトル蓋締め、ブロック挿入など異なる10タスクを順次学習） | シミュレーション＋実機 (Panda) | タスク間のデータ・方策再利用により、一つ一つのタスクを独立学習するより必要サンプル数を半分以下に削減。実機Panda上でもボトル蓋締めやブロック挿入等10種のスキルを逐次習得し、学習の蓄積によるスキル拡張を実証。 |
| Goal-Conditioned RL in Human-Robot DisassemblyÍñigo Elguea-Aguinaco et al., 2022 (Mondragon Univ.) | ゴール条件付き深層強化学習（アクタ critic系3手法評価） | 協働分解作業（人と共有空間での部品引き抜き、衝突回避付き） | シミュレーション＋実機 (Panda 他1機種) | ペグ部品の抜去作業において、学習方策を人の位置に応じ動的変更することで、静止障害物ありで94%、人が動く動的環境下で92%の高成功率を達成。リアルタイム衝突回避を実現し作業中一度も人との衝突なしと報告。学習ポリシーを遅延少ない独自フレームワークで実機に直結展開し、HRI安全性と汎用性を示した。 |
表1： Franka Emika Pandaに機械学習（主に強化学習）を統合した主要研究の比較。各研究で採用された学習手法、目的とするタスク、使用環境（シミュレータ/実機）、および成果の概要を示す。
強化学習以外の機械学習手法を用いた研究
強化学習以外にも、模倣学習やメタラーニング、転移学習などを通じてPandaのロボット技能習得を図る研究が進んでいます。表2にその一部を示します。
| 論文 (著者・年) | 学習手法 | 目的・応用 | 使用環境 | 成果・評価 |
|---|---|---|---|---|
| One-Shot Robust Imitation Learning for Long-Horizon Visuomotor TasksShaokang Wu et al., 2024 (浙江大学) | メタ模倣学習（MAML）＋運動プリミティブ（DMP） | 長尺視覚操作タスクの模倣学習（未分割デモから一回の学習で新タスクへ適応）※多物体の長尺組み立て等シーケンシャル作業 | 実機 (Panda + RealSenseカメラ) | 7-DoF Pandaで1260件の人間デモを収集してメタ訓練し、提案手法「MiLA」はデモの分割なしに長尺タスクを習得。一つのデモから新タスクに数回の勾配更新で迅速適応し、視界遮蔽など外乱下でも安定動作可能なロバスト性を実現（DMPにより軌道を柔軟調整）。 |
| Force-Based Robotic Imitation Learning: A Two-Phase Approach for AssemblyHengxu You et al., 2025 (Univ. of Michigan 他) | 教示＋生成モデル（二段階の模倣学習、力覚フィードバック活用） | 組立作業への模倣学習（溶接・パイプ挿入など建設分野の高精度力制御タスク） | VRシミュレータ (ROS連携)＋実機 (Panda) | 人間がPandaを直接操作して力データ付きデモを収集し（Phase1）、生成モデルで力情報を組み込んだロボット動作を学習（Phase2）。力覚を考慮した学習でタスク完了時間の短縮と成功率向上を達成と報告。複雑な挿入・組立動作において人間並みの適応的な力加減動作を模倣可能。 |
表2： Pandaを用いた強化学習以外の機械学習手法の研究例。模倣学習やメタ学習を通じて、長いタスクの高速適応や人間の力加減の再現など、強化学習では扱いにくい要素の学習に取り組んでいる。
以上のように、Franka Emika Pandaは強力なトルクセンサ搭載の協働ロボットとして深層強化学習を中心に様々な学習手法と統合され、物体操作、組立・分解、動作計画、ヒューマンロボット協調など幅広い応用で研究が進められています。最新研究では、シミュレータ環境（PyBullet、MuJoCo、Isaac Gym等）と実機を組み合わせてシミュレーションから実ロボットへの転移を図ったり、人間のデモや力覚情報を組み込んで学習効率や安全性を高めるアプローチが顕著です。これらの成果により、Pandaロボットによる自律的で柔軟な操作技能の獲得が着実に前進していることが示されています。
