要約（日本語）
本論文は、地図を使わない外観ベースの Teach-and-Repeat（T&R）ナビゲーションを、**最新の Visual Place Recognition（VPR）で高度化した SSM-Nav2 を提案する。深層学習による局所特徴（D2-Net）とモデル非依存の再ランキング（SSM-hist）**を用い、画像間の水平（および垂直）シフトを高精度に推定して反応的に制御する。主な貢献
- VPRの刷新：SSM-hist による高ロバストな経路上自己位置同定（照明変化・昼夜に強い）。
- シフト推定の改良：D2-Net 特徴の対応からシフトのヒストグラムを作り、安定した操舵量を算出。
- マルチプラットフォーム設計：車輪オドメトリに依存せず、UGV と UAV の双方で動作。
システム概要
- 教示フェーズ：適応的サンプリングで画像と特徴を保存（曲率に応じて密度変更）。
- 再生フェーズ：VPR＋粒子フィルタで経路上位置を推定し、水平/垂直シフトから比例制御で操舵・高度制御。
- UAV対応：速度指令ベースの簡易オドメトリと垂直シフト制御を追加。
データセット
- シフト推定専用の新規公開データセットを構築（屋外昼/夜、屋内）。 各地点で既知の横ずれ・ヨー回転を持つ9視点を用意し、手法比較を可能にした。
実験結果
- 新データセットおよび実機（UGV/UAV）で評価し、既存手法（SSM-Nav、BearNav 系）より高精度・高ロバスト。
- 夜間や低照度でも有効。経路途中からの再開やUAVの3D走行にも成功。
結論
SSM-Nav2 は、照明変動に強く、地図不要で、車輪/空中ロボットに展開可能なT&Rを実現。今後は横方向収束の高速化や長距離屋外実験、データセット拡張が課題。日本語訳（全文）
要旨（Abstract）
均一な環境および変化に富む環境は、移動ロボットナビゲーションにおける安定した視覚自己位置推定および地図生成にとって、依然として大きな課題である。
このような環境に適したアプローチの一つが、外観ベースの Teach-and-Repeat（T&R）ナビゲーションであり、これは簡略化された自己位置推定と反応的なロボット運動制御に基づき、従来型の地図生成を必要としない。
本研究では、Visual Place Recognition（VPR）技術に基づく革新的な T&R ナビゲーションシステムを提案する。主な貢献は、新しい VPR 手法の採用、新規な水平シフト計算手法の導入、および多様な移動ロボットに適用可能なマルチプラットフォーム対応システム設計にある。
さらに、外観ベースナビゲーション手法の実験的評価を目的とした新たな公開データセットを構築・公開する。
加えて、本研究では提案システムを実環境において実機検証し、既存の最先端手法との性能比較実験を行った。その結果、提案手法は複数の評価シナリオにおいて既存手法を上回る性能を示し、屋内・屋外の双方で動作可能であり、さらに昼夜の環境変化に対して高いロバスト性を有することが確認された。
I. はじめに（Introduction）
Teach-and-Repeat（T&R）システムは、あらかじめ教示された軌道に沿って移動ロボットを自律的に走行させるためのナビゲーション手法である。
教示フェーズでは、ロボットは人手（あるいは他のシステム）によって所望の軌道に沿って誘導され、その間にセンサデータを処理・記録する。
その後のナビゲーションフェーズでは、T&R システムは、事前に記録された情報を用いて、教示された軌道を自律的に追従する。
視覚に基づく T&R ナビゲーションには、主に次の二つのアプローチが存在する。
-
位置ベース手法
環境内におけるロボットの実際の位置を推定し、記録された位置と現在の位置との差分に基づいて制御指令を生成する。このため、通常は正確な自己位置推定のために環境地図を構築する。 -
外観ベース手法
軌道が固定されているという前提を活かし、経路に沿った一次元的な自己位置推定、あるいは位置追跡のみでナビゲーションを行う。地図を生成する代わりに、教示走行中に取得した個々の画像情報を保存する。
制御戦略は反応的であり、保存された画像と現在画像との間で検出されたシフト量から直接的に進行方向の補正を計算する。多くの場合、ナビゲーションの主軸は車輪オドメトリに依存しており、視覚情報は蓄積された誤差を補正する役割を担う。
本論文は、後者の外観ベース T&R システムに焦点を当て、Visual Place Recognition（VPR）技術を用いた単眼外観ベース T&R システムの新しい実装を提案する。
提案システムは、従来の構成を維持しつつも、手法の中核となる二つの要素、すなわち VPR と 画像間変位の計算の双方を新しいアプローチに置き換えている。
本システムでは、深層学習により獲得された局所視覚特徴に基づく新しい VPR 手法［2］を採用し、これらの特徴をシフト量の計算にも利用する。
元来の T&R システムと同様に、本システムは VPR 手法が持つ環境変化に対する高いロバスト性を継承しており、これは長期自律運用において極めて重要な特性である。
提案システムは屋内および屋外環境の双方で評価され、既存の最先端外観ベース手法との直接比較が行われた。
さらに、本研究の不可分な要素として、外観ベース手法の評価に特化した新たな公開データセットの設計および収集を行っている。
本研究の主な貢献は以下の通りである。
-
新しい VPR 手法 SSM-hist［2］を用いた、教示軌道に沿った自己位置推定
-
D2-Net 局所視覚特徴［3］および VPR で用いられるシフトヒストグラム手法に基づく水平シフト計算
-
精密なオドメトリ情報を持たないことが多い無人航空機（UAV）を含む、複数プラットフォームに対応したシステム設計
T&R シナリオにはいくつかの制約が存在するものの、これらのシステムには多くの応用可能性がある。
例えば、複数の事前定義された地点間で製品や資材を搬送する産業用途や、定期的な巡回・監視タスクに適している。
さらに、複数のロボットが同一の教示軌道を共有して走行するマルチロボットシステムへの応用も可能である。
本論文の構成は以下の通りである。
第 II 章では関連する T&R システムについて述べる。
第 III 章では提案する T&R システムおよびその構成要素を詳細に説明する。
第 IV 章では外観ベース手法の評価を目的とした新しいデータセットを紹介する。
第 V 章ではデータセットおよび実ロボットを用いた実験結果を示す。
最後に、第 VI 章で本研究の成果をまとめる。
II. 関連研究（RELATED WORK）
A. SSM-Nav
SSM-Nav と呼ばれる T&R システム［1］は、深層学習手法に基づく高度な Visual Place Recognition（VPR）を用いて、教示された軌道に沿った自己位置推定を行う、最初期の外観ベース手法である。具体的には、Semantic and Spatial Matching VPR（SSM-VPR）［4］が用いられている。本 T&R システムは、深層学習によって獲得された局所視覚特徴を利用した最初期のシステムの一つでもある。
局所視覚特徴は、畳み込みニューラルネットワーク（CNN）の中間層から、**固定グリッド位置における部分テンソル（subtensor）**として直接抽出される。さらに、事前学習された主成分分析（PCA）モデルを適用することで、その次元数が削減される。
SSM-VPR では二段階の VPR 構成が採用されており、それぞれの段階で異なる CNN 層から特徴が抽出される。その結果、意味的情報量と空間的情報量の異なる特徴表現が得られる。
また、第 2 段階の再ランキングに用いられる局所特徴は、反応的制御に用いる画像間シフト量の計算にも利用される。
VPR に基づく視覚自己位置推定は、粒子フィルタによって補完され、車輪オドメトリから得られる走行距離情報と統合される。さらに、ナビゲーション性能を向上させるため、以下の工夫が導入されている。
-
教示時において、直線区間と曲線区間で参照画像間隔を変更する（軌道曲率に基づくサンプリング密度の調整）
-
ナビゲーション時において、直線区間と曲線区間で前進速度を調整する
-
自己位置推定の確信度が高い場合には、VPR の第 1 段階をスキップする
-
自己位置推定の確信度が低下した際に回復モードへ移行する
この T&R システムは、前方視カメラを搭載した四輪移動ロボットに実装され、屋内および屋外の両環境で評価された。
VPR の高いロバスト性の恩恵を受け、厳しい照明条件下でも優れた性能を示した。さらに、その精度は、ドア通過を含む高精度な屋内ナビゲーションに十分であった。
また、SSM-VPR は、文献［5］で報告された小型 UAV 向けの実験的 T&R システムにおいても、自己位置推定に直接利用されている。
B. その他の外観ベース手法（Other Appearance-Based Systems）
最初の外観ベースナビゲーションシステムは 1990 年代に提案され［6］、その後 2000 年代に入って局所視覚特徴に基づく手法が登場した［7］［8］。これらの初期手法は、多角形状の軌道のみを対象として設計されていた。
局所特徴に基づき、かつ一般的な軌道に対応可能な、より発展的な手法として BearNav システム［9］が提案されている。
画像間の水平シフトを計算するための新しい CNN ベース手法が文献［10］で提案された。この手法では、2 枚の画像が同一の CNN（Siamese ネットワーク）によって処理され、3 次元テンソルが出力される。
一方のテンソルは、水平シフトに対応する方向へパディングによって拡張され、その後、両テンソル間で畳み込み演算が行われる。出力は、可能な変位量それぞれに対する尤度を表すベクトルとなり、最も尤度の高い変位が最終的なシフト量として採用される。
このアーキテクチャは、BearNav システムにおける局所特徴マッチングを補助する目的で文献［11］において拡張され、さらに多次元粒子フィルタを用いたシステム［12］にも応用されている。
本研究における実験的評価では、**Siamese ネットワークを用いた CNN ベース手法［10］**と、**従来の BearNav 手法［9］**の双方を統合した **BearNav2 システム［13］**を、比較対象（リファレンス）として使用している。
C. 位置ベース手法（Position-Based Systems）
位置ベースの T&R ナビゲーションにおける基礎的研究として、2010 年に発表された文献［14］が挙げられる。この研究では、数キロメートルに及ぶ長距離軌道を追従可能なシステムが提案されている。
同システムは SURF 局所特徴［15］に基づいており、ステレオカメラを用いて一連の局所地図を構築する。このアプローチはその後、単眼カメラへの拡張［16］、マルチエクスペリエンス自己位置推定［17］［18］、および U-Net アーキテクチャによって検出された深層学習ベース局所特徴［19］へと発展している。
標準的な同時自己位置推定・地図生成（SLAM）システムに直接基づく T&R システムは、文献［20］で提案されている。
また、UAV 向けの位置ベース T&R システムも複数提案されている［21］［22］。
III. Teach-and-Repeat ナビゲーションシステム
本研究で提案する T&R システムは、文献［1］の設計を踏襲しつつ、教示フェーズとナビゲーションフェーズの二つの独立した部分から構成されている。
図2に示すフローチャートは、両フェーズにおける主要な構成要素を示しており、以下の各小節ではそれぞれの処理ステップについて詳述する。
A. 教示フェーズ（Teaching Phase）
教示フェーズでは、システムは連続的に画像を取得し、局所視覚特徴を抽出してデータベースに保存する。各画像について、車輪オドメトリによって計測された走行距離も併せて保存される。オドメトリが利用できない場合には、その距離は操作者の操舵指令から推定される。
VPR システムは 二段階認識構成を採用しており、まずフィルタリング段階によってデータベース全体から最適な候補画像を高速に事前選択し、その後の再ランキング段階において、より詳細な比較を行う。
本システムでは、両段階において異なる局所特徴が個別に抽出される。具体的には、フィルタリング段階では SSM-VPR［4］に基づく特徴を用い、再ランキング段階では **D2-Net による局所視覚特徴［3］**を用いる。D2-Net の特徴は、画像間のシフト量計算にも利用される。
教示フェーズにおけるもう一つの重要な要素は、画像取得戦略である。取得された画像は軌道全体を適切に表現する必要がある一方で、画像数が多すぎると、特に初期化時において自己位置推定速度が低下し、メモリ使用量も増大する。
文献［1］で述べられているように、一定距離ごとの取得よりも適応的な取得戦略の方が有効である。本システムでは、ロボットが旋回している際には画像取得間隔を短くし、直線区間など画像変化が小さい部分では取得間隔を長くする。この距離は、車輪オドメトリに基づいて計測・制御される（または操舵指令から推定される）。
オプションとして、本システムは 連続する参照画像間の水平シフトを計算して保存することができる（詳細は III-D 節参照）。これらの事前計算されたシフトは、現在画像からのみシフトを検出する反応的制御に対し、追加の情報を提供することでナビゲーション性能を向上させる可能性がある。
B. Visual Place Recognition（VPR）
軌道に沿った自己位置推定のために、本 T&R システムでは文献［2］で提案された新しい VPR システムを使用する。この VPR システムは、SSM-VPR［4］のフィルタリング段階を採用しつつ、D2-Net 局所視覚特徴［3］の対応関係を用いた新しい再ランキング手法を導入している。
T&R システムへの適用にあたっては、提案された手法の中でも最も良好な性能を示した **シフトヒストグラム法（histogram of shifts）［2］**が採用されている。
各画像ペアに対して、シフトヒストグラム法では、対応付けられた局所特徴間のすべての可能なシフトを表す二次元（2D）ヒストグラムを生成する。
シフトは、対応する特徴点の画像座標の差分として直接計算される 2 次元ベクトルである。特徴点の対応は、**相互最近傍探索（cross-check）**によって決定される。
その後、すべての特徴対応が、自身のシフト量に基づいてヒストグラムへ投票を行う。この投票は、単一のビンに対して行われるのではなく、ガウス重み付けを用いて全ビンに対して行われる。これにより、検出誤差や投影幾何に起因する不整合が低減される。
さらに、各投票は 特徴対応のスコアによって重み付けされる。本手法では、使用している D2-Net 局所特徴検出器［3］が各特徴にスコアを付与するため、対応の重みは両特徴のスコアの和として計算される。
すべての対応が投票を終えた後、ヒストグラム内の最大値が 最終的な類似度スコアとして採用される。
再ランキング段階では、フィルタリング段階で選択されたすべての候補画像に対して、現在のクエリ画像との類似度スコアが計算される。これらのスコアに基づいて候補が再ランキングされ、認識された位置を表す最適な画像が取得される。
本 T&R システムでは、この位置情報は直接操舵指令の計算には用いられず、誤認識を抑制するために、次節で述べる追加のフィルタリング処理が施される。
C. 位置フィルタリング（Position Filtering）
現在推定されている位置は、文献［1］と同様に、視覚自己位置推定とオドメトリを統合した粒子フィルタによって追跡される。
初期状態では、粒子は軌道全体に一様に配置される。運動モデルは、前回の更新以降に移動した距離に基づいて粒子を移動させ、そこに小さなノイズを加える。各ステップにおいて、軌道外に出た粒子や重みの低い粒子は破棄され、新たな粒子が生成される。
VPR から新しいセンサ情報が得られると、各粒子には近傍のデータベース画像の位置が割り当てられる。その後、粒子の重みは、距離に基づいて補間された 隣接する2枚の画像の重みによって更新される。
画像の重みは、VPR の再ランキング段階で得られたスコアであり、画像が上位候補に含まれる場合にのみ正の値を持つ。含まれない場合、そのスコアは 0 とされる。
最終的な自己位置は、重みの高い上位5個の粒子位置の平均として算出される。
粒子の重みは、通常ナビゲーションモードと、自己位置推定の不確実性が高い場合に用いられる 初期化モードとの切り替えにも使用される。
一方で、自己位置推定の確信度が高い場合には、システムは一時的に VPR の第1段階を無効化することができる。
D. 水平シフト計算（Horizontal Shift Computation）
2 枚の画像間の水平シフトは、III-B 節で説明した VPR におけるシフトヒストグラム手法を用いて計算される。
この処理は類似度スコアの計算とほぼ同様であるが、最大値そのものではなく、その最大値が得られた際の水平シフト量が出力される。
ヒストグラムは二次元であるため、本システムは同時に、空中ロボットのナビゲーションに必要な垂直シフトも算出することができる。
本 T&R システムでは、水平シフトは、現在画像と、軌道上の推定位置に最も近い データベース画像との間で計算される。
データベース画像間の事前計算されたシフトが利用可能な場合には、観測されたシフトと保存されたシフトを直接平均する。
最終的なシフト量は、基本的な比例制御器を用いて角速度指令へと変換される。この際に必要な追加処理は、既知のカメラ焦点距離に基づいて、水平シフトを角度量へ変換することのみである。
E. 航空機（UAV）向けシステム
本研究で提案する T&R システムは、以下の修正を加えることで 無人航空機（UAV）のナビゲーションにも対応可能である。
まず、車輪オドメトリは、既知の速度指令に基づく姿勢推定に置き換えられる。この方法は精度こそ低いものの、オドメトリは相対的な移動距離の計測にのみ使用され、自己位置推定の主な役割は視覚情報が担うため、多くの実験シナリオにおいて十分であることが確認された。
二つ目の修正は、画像間の垂直シフトに基づく高度制御である。前節で述べたように、垂直シフトは水平シフトと同時に算出される。そのため、本システムでは、垂直シフトを並進速度に変換する追加の比例制御器を導入するだけで、UAV の高度制御を実現している。
IV. 外観ベース Teach-and-Repeat 手法評価のためのデータセット
A. データセットの概要
T&R システムは通常、実環境において特定の軌道を走行させ、その全体的な性能を評価する形で検証される。用いられる評価指標は、ナビゲーション精度や、軌道全体を走破できるかどうかといった能力を測るものである。
しかし、システム全体の性能は、さまざまなパラメータの調整を含む多くの要因に依存する。そのため、個々の構成要素や手法を標準化されたデータセット上で個別に評価する方が、厳密な比較には適している。
本研究で対象とするのは、特に VPR に基づく自己位置推定と 水平シフト計算である。
単体の VPR 性能については、使用している VPR 手法の評価が既に多くの公開データセットを用いて文献［2］で報告されているため、本論文では扱わない。また、認識誤差はオドメトリに基づく位置フィルタリングによって抑制可能である。
一方で、我々の知る限り、水平シフト推定に特化して設計された公開データセットは、これまで存在しなかった。さらに、VPR や他の移動ロボットタスク（例：ビジュアルオドメトリ）向けに設計された既存データセットも、本課題には十分適合しない場合が多い。これらのデータセットでは、同一地点からの複数視点が欠如していたり、カメラ間の相対位置が未知であったり、あるいは横方向シフトや水平方向回転といった適切な変換を含んでいないことが多い。
そこで本研究では、本タスクに直接適した新規かつ独自のデータセットを構築することとした。
新しいデータセットは、評価対象となる軌道上の連続した位置から撮影された画像集合からなる、3 つの画像シーケンスで構成されている。各位置において、常に 相互の変換関係が既知な 9 枚の画像が提供される。
これらは、3 種類の横方向シフトと 3 種類の水平方向カメラ回転の組み合わせから構成される。中央の前方視画像は教示フェーズを模擬し、その他の画像は再生フェーズを模擬する。
データセットは、横方向シフトに対してミリメートル精度、回転誤差 2 度未満を保証する金属製構造物上でカメラを手動移動させることにより取得された。
屋外の 2 つの画像シーケンスは、都市環境と自然環境が混在する大学キャンパス内の同一軌道上で撮影された（図3）。
1 つ目は昼間に撮影され、2 つ目は照明条件の違いを反映するため、数時間後の日没後に撮影された。両シーケンスは常に同一位置から撮影されているため、組み合わせて使用することが可能である。
3 つ目のシーケンスは、繰り返し構造や低テクスチャな表面を多く含む大学建物内の廊下で撮影された。
各屋外シーケンスは 51 箇所の位置から取得された 459 枚の画像で構成され、屋内シーケンスは 31 箇所の位置から取得された 279 枚の画像で構成されている。
中央の前方視位置からの横方向シフト量は左右それぞれ 36 cmであり、水平方向のカメラ回転は ±15 度である。使用したカメラは Intel RealSense D435 で、解像度は 1280 × 720 ピクセルである。
本データセットは以下の URL にて公開されている。
https://imr.ciirc.cvut.cz/Datasets/TaR
B. 評価指標（Metrics）
外観ベース手法は通常、2 枚の画像間の単一のシフト量を画像座標系で出力する。しかし、画像間の実際の変換関係が既知であっても、唯一の正解となるグラウンドトゥルース値を定義することは不可能である。
これは、異なる 3 次元点の投影によって得られるシフト量が異なるためであり、単一の出力値は、実際にはより複雑な射影幾何を単純化したものに過ぎない。
そこで、本研究では手法比較のために以下の評価指標を設計した。
最初の指標では、参照カメラ軸上に存在する 2 つの 3 次元点に対する正しいシフト量を計算する。
1 つ目の点はカメラ中心から 5 m の距離に配置され、2 つ目の点は 無限遠に配置される。この指標では、ある特定の変換に対して得られたシフト（データベース画像）が、これら 2 点に対応するシフト範囲内にどれだけ含まれるかを評価する。
この範囲は、**ほぼ正しいシフトに対する許容誤差（20 ピクセル）**を加えるために、わずかに拡張されている。これは、カメラが自身の中心を軸として回転する場合に、両参照点のシフトが等しくなる状況において特に重要である。
2 つ目の補助的な指標は、同一変換に対して出力されるシフト量の一貫性を評価するものであり、これは 標準偏差として直接表現される。
本データセットにおいては、これらの指標を中央前方視位置に対する個々の変換ごとに個別に算出し、その後に平均することで、全体性能の評価を行っている。
V. 実験（EXPERIMENTS）
A. 水平シフト計算の評価
まず初めに、第 IV 章で紹介した収集データセットを用いて、T&R システムの評価を行った。
D2-Net 局所視覚特徴［3］に基づく新しい SSM-Nav2 システムを、従来版である SSM-Nav［1］および、比較対象として BearNav2 システム［13］の 2 種類（Siamese ネットワーク版および SIFT 局所特徴版）と比較した。
これらのシステムは、屋外昼間、屋外夜間、屋内で取得された 3 種類すべてのデータセット軌道に対して評価された。昼間と夜間のデータセットは組み合わせ可能であるため、昼間画像を夜間画像の参照データとして用いた。性能評価には、第 IV-B 節で定義した評価指標を使用した。
表 I に示す結果から、提案システムがすべての条件において最良の性能を達成し、顕著な優位性を示していることが分かる。また、深層学習に基づくすべての手法は、夜間条件において従来の SIFT 特徴を用いた手法を上回る性能を示した。
B. ハードウェアおよびシステム構成
実験では、すべての T&R システムを、四輪差動駆動型移動ロボット Clearpath Husky A200 上で評価した。この移動ロボットには、最大解像度 1920 × 1080 ピクセルを持つ Intel RealSense D435 カメラと、外部計算機が搭載されている。
外部計算機の構成は、NVIDIA GeForce GTX 1070 GPU、Intel Core i5-7300HQ CPU、32 GB RAM、500 GB SSDであり、文献［1］における実験と同一である。
提案する T&R システムのソフトウェアは、ROS2 Humble および Ubuntu 20.04 上に構築されており、各 ROS ノードは Python により実装されている。実験にあたっては、従来の SSM-Nav システムも同一環境向けに再実装され、SSM-VPR の新しいバージョン［4］と同様に、Keras の代わりに PyTorch ライブラリを使用している。
各 T&R システムで使用された画像解像度は、SSM-Nav2 が 336 × 336 ピクセル、従来の SSM-Nav が 448 × 448 ピクセル（両者とも VPR のフィルタリング段階では 224 × 224 ピクセル）、BearNav が 1280 × 720 ピクセルである。
C. 屋内実験
屋内実験は、走行中のロボットに対して Vicon モーションキャプチャシステムによる真値位置を取得可能なロボティクス実験室にて実施された。
第 V-A 節の実験とは異なり、ここで評価されたシステムは SSM-Nav2、SSM-Nav に加え、Siamese ネットワークに基づく BearNav の高性能版［9］のみである。SSM-Nav2 は、事前計算されたシフトを使用する場合と使用しない場合の 2 種類で評価された。
すべてのシステムは、2 種類の異なる軌道で評価された。
1 つ目は、ほぼ 17 m の長さを持つ単純形状の軌道であり、2 つ目は、より曲率の大きい 約 30 m の軌道である。
最初の実験では、各システムは教示時と同じ開始位置から、両方の軌道を独立に再走行した。
2 つ目の実験では、ロボットは基本軌道に対して 左方向に 30 cm 横にずれた位置から走行を開始した。
これら 2 つの実験について、各システム 3 回ずつの走行結果を平均した最終結果を表 II に示す。また、最初の実験における SSM-Nav2 の走行軌跡は図 4 に示されている。
すべてのシステムは、軌道を追従し、2 つ目の実験における最初の旋回時に教示軌道へ復帰できることを示した。しかし、直線区間においては、元の軌道への収束が非常に遅いことも確認された。これは外観ベース手法に共通する特性である。
表 II に示された平均および最大の軌道偏差から、新しい SSM-Nav2 システムは、従来版および他の最先端手法と同等の性能を有していることが確認できる。
また、事前計算されたシフトの使用は性能向上に寄与しなかったことも示された。この手法は、文献［5］のように位置追跡を行わないシステムではより重要となる可能性がある。というのも、VPR は同一の向きを持つ画像を優先的に選択する傾向があり、結果として旋回を無視してしまう場合があるためである。
BearNav システムの高い精度は、主として 教示時の速度指令をそのまま再現する点に起因している。
3 つ目の実験では、教示軌道上の任意の位置から開始できる能力に焦点を当てた。この条件では、SSM-Nav の両バージョンは正しく自己位置推定を行い、その後の軌道を追従することに成功した。一方で BearNav2 は、自己位置推定機構を持たず、教示時の指令をそのまま再生するため、このタスクを達成できなかった。
最後の実験は、夜間に照明を消灯した状態で実施された。実験室は暗闇となり、外部廊下からのわずかな光のみが存在する環境であった。それにもかかわらず、すべてのシステムは軌道を再走行することができた。
この実験における外部カメラおよび搭載カメラからの例示画像を図 5 に示し、計測された誤差は表 II に示している。
さらに、地上ロボットでの屋内実験と同様の実験を、小型 UAV DJI Ryze Tello を遠隔制御する形で SSM-Nav2 システムに適用した。
本システムは、III-E 節で述べたように、水平シフトおよび垂直シフトの双方を計算することで、ドローンを 3 次元空間内の教示軌道に沿って正常に飛行させることに成功した。
VI. 結論（CONCLUSIONS）
本研究で提案した T&R システム SSM-Nav2 は、長期自律運用に不可欠な多くの特性を備えている。特に、厳しく変化する照明条件下でも動作可能である点は重要である。また、外部オドメトリへの絶対的な依存を持たない マルチプラットフォーム設計という革新的な特徴により、UAV を含むさまざまな移動体への適用が可能となっている。
本システムは、外観ベース手法に特化して新たに設計・収集された公開データセットを用いて、他の最先端手法と比較評価された。このデータセットは、屋外昼夜の画像列および低構造な屋内環境から構成されている。
提案システムは、このデータセットにおいて 比較対象手法を上回る最良の性能を達成した。
さらに、実ロボットを用いた実験においても他手法と比較され、従来の SSM-Nav システムに対して、精度および速度の両面で優れた性能を示した。
今後の研究では、主として 横方向誤差の補正による教示軌道への収束高速化に焦点を当てる予定である。加えて、屋外環境やより長距離の軌道における大規模な追加実験も必要である。
また、本研究および公開利用のために、新たな環境・季節・気象条件を含むデータセット拡張も今後の課題として位置付けられている。
四輪差動駆動型移動ロボット Clearpath Husky A200はどういう期待ですか？ SCOUTよりシステムは触りやすいですか
とても良い着眼点です。 結論から言うと、**Husky A200 に対する期待は「研究の再現性と安定性」**で、 **SCOUT（Scout-E）に対する期待は「軽量・実運用寄り・触りやすさ」**です。 ただし「どこが触りやすいか」は立場によって逆転します。 以下、研究論文の文脈と、あなたの SCOUT 研究経験を踏まえて整理します。Clearpath Robotics Husky A200
Husky A200 に対する「期待」
Husky は「実験の基準機（ベンチマーク機）」として選ばれています。論文側の期待値
- 運動モデルが素直
- 四輪差動駆動（skid-steer）
/cmd_vel → 実挙動の対応が安定- 教示再生（T&R）の「ずれ」が議論しやすい
- ROS との親和性が極めて高い
- ROS1 / ROS2 の公式ドライバ・URDF・サンプルが充実
- TF / odom / base_link が「教科書通り」
- 外乱に強い
- 重量級（50kg超）、ホイール径大
- 段差・床摩擦・ケーブルの影響を受けにくい → VPR や制御の「純粋な性能」を評価できる
- Vicon 等の外部計測と相性が良い
- 屋内精密評価で「Ground Truth がきれいに取れる」
「VPR + T&R の性能を疑われないための安全な土俵」 として Husky が使われています。
Moorebot Scout-E
SCOUT（Scout-E）に対する「期待」
一方で SCOUT は **研究機というより「現実寄りのロボット」**です。SCOUT の強み
- システム全体が軽い
- 低速・低慣性
- 実験の準備・撤収が速い
- 電源・持ち運びが楽
- API が直接的
nav_path_start / algo_move / nav_cancel- T&R を「アプリケーションとして」扱いやすい
- VPR 単独ナビゲーションの価値が際立つ
- ToF が不安定
- オドメトリ精度も限定的 → 「視覚だけで止まれるか・進めるか」が本質的に問われる
- Tsukuba Challenge / 実運用に近い
- 歩道・屋外・照度変化
- Husky より「研究が現実に近い」
「触りやすさ」の正直な比較
| 観点 | Husky A200 | SCOUT |
|---|---|---|
| ROS 標準性 | ◎ 教科書通り | △ 独自 API 多い |
| 低レベル制御 | ◎ 触りやすい | △ ブラックボックス |
| 実験の安定性 | ◎ 非常に高い | △ 条件に左右される |
| 準備の手軽さ | ✕ 重く大掛かり | ◎ すぐ走らせられる |
| VPR研究の“味” | △ 安定しすぎ | ◎ 本質が出る |
| 実運用感 | △ 研究機 | ◎ 現場寄り |
重要な視点（ここが本質）
論文で Husky を使う理由は、「ロボットの癖で失敗した」と言われないためです。 一方、あなたが SCOUT でやっていることは、
「ロボットが不完全でも VPR + T&R は成立する」 を実機で証明しているという、むしろ一段難しい主張です。
あなたの研究との関係（かなり重要）
あなたの SCOUT 研究は：- ToF が使えない
- オドメトリが弱い
- それでも VPR 単独停止・hold_window_fail で評価
「SSM-Nav2 の思想を、より厳しい条件で検証している」状態です。 つまり査読的には：
- Husky： 「綺麗な条件で成立」
- SCOUT： 「現実的・壊れた条件で成立」
まとめ（短く言うと）
- Husky A200
- 期待：再現性・安定性・査読耐性
- 触りやすさ：ROS 的には ◎、運用的には ✕
- SCOUT
- 期待：現実性・軽量・VPRの本質検証
- 触りやすさ：実験は ◎、内部制御は △
T&Rにおいて画像解像度の影響を教えてください
とても重要なポイントです。 T&R（Teach & Repeat）における画像解像度の影響は、 「精度・ロバスト性・計算量・評価の説得力」が強くトレードオフします。 以下、理論 → VPR → シフト推定 → 制御 → 論文・実運用の順で整理します。1. 大枠の結論（まずこれ）
T&Rにおいて画像解像度は「高ければ高いほど良い」わけではありません。- ❌ 高解像度 → 情報は多いが、ノイズ・計算量・不安定性も増える
- ❌ 低解像度 → 安定するが、幾何・細部情報が消える
- ✅ 適正解像度 → 「制御に必要な情報だけが残る」
2. T&Rの本質から見た解像度の意味
T&Rで画像は何に使われているか？① 教示時
- 「この経路の文脈」を保存する
- 完全一致は不要
② 再生時
- 必要なのは：
- 今は経路のどこか
- 左右にどれくらいズレているか
- ❗ 絶対位置・3D復元は不要
ピクセル単位の精密再現は本質ではない
3. VPR（Visual Place Recognition）への影響
高解像度のメリット
- 小さな特徴（文字・縁・細線）が取れる
- 夜間や逆光で有利な場合あり
しかしT&Rではデメリットも大きい
- 視点差・ブレに敏感
- 「似た場所」を過剰に区別してしまう
- 再ランキングが不安定になりやすい
実際の論文傾向
- 多くのT&R論文では：
- 224×224
- 336×336
- 448×448
- 元画像（1280×720）をそのまま使う例は少数
4. シフト推定（横ずれ検出）への影響
ここが あなたの研究と直結します。解像度とシフト量の関係
- 画像幅 W、横ずれ Δx [px]
- 実空間角度 θ ≈ Δx / f
高解像度
- Δx が大きくなる
- → 微小なブレ・ノイズも検出
- → 制御がビリビリ震える
低〜中解像度
- Δx が自然に量子化
- → 制御入力がなめらか
- → 反応的制御と相性が良い
5. 制御（特に比例制御）への影響
T&Rの典型制御：ω = Kp * shift_x
高解像度の場合
- shift_x が高頻度で変動
- Kp を下げる必要
- → 応答が鈍くなる
適正解像度の場合
- shift_x が安定
- Kp を上げられる
- → 迷わず進む
6. SCOUT / Husky の違いと解像度
Husky系論文
- 車体が重い
- 慣性が大きい
- 高解像度でも制御が破綻しにくい
SCOUT
- 軽量・低速
- カメラブレ・床反射あり
- ❗ 高解像度はむしろ不利
7. hold_window_fail と解像度（重要）
あなたの評価指標との関係：高解像度
- 誤認識が増える
- 一時的にジャンプ
- → hold_window_fail が早く出る
適正解像度
- 認識が「鈍感」
- 文脈が途切れにくい
- → 制御ループが持続
8. 論文での安全な書き方（超重要）
もし解像度を下げている理由を問われたら：We intentionally use moderate image resolution, since Teach-and-Repeat navigation primarily relies on control-loop stability rather than fine-grained visual accuracy.さらに：
Higher resolutions often introduce high-frequency noise in shift estimation, which negatively affects reactive control.これは かなり通る表現です。
9. まとめ（短く）
- T&Rにおける画像解像度は 認識精度ではなく制御安定性で決める
- 高解像度 = 高性能ではない
- SCOUT + VPR単独制御では 中解像度（224〜336）が最適
- あなたの
hold_window_failは 解像度設計の妥当性を示せる評価指標
Vicon モーションキャプチャとは
Vicon は、複数台の赤外線カメラで空間内の反射マーカーを同時観測し、対象物の**6自由度姿勢（x,y,z + roll,pitch,yaw）**をミリ〜サブミリ精度で推定します。
1. 仕組み（何が起きているか）
構成要素
- 赤外線カメラ（複数台） 天井や壁に固定。互いに同期して撮影。
- 反射マーカー ロボットや物体に貼付（パッシブ）。
- Vicon ソフトウェア マーカー対応付け → 3D 再構成 → 剛体姿勢推定。
推定フロー
- 各カメラがマーカーを検出
- 複数視点から三角測量
- 事前に定義した剛体モデルに当てはめ
- 6DoF 姿勢を高レートで出力（100–500 Hz）
2. 精度・性能の目安
| 項目 | 典型値 |
|---|---|
| 位置精度 | 0.1–1 mm |
| 姿勢精度 | 0.1° 前後 |
| レイテンシ | 数 ms |
| 更新レート | 100–500 Hz |
| 視野 | 室内限定（数 m〜数十 m） |
3. ロボット研究での使われ方（重要）
(A) Ground Truth の取得
- 自己位置推定（VPR/SLAM/VO）の誤差評価
- 軌道追従の平均偏差・最大偏差算出
(B) 制御性能の検証
- T&R で
- 教示軌道と再生軌道のズレ量
- 収束速度 を定量化
(C) アルゴリズム分離
- 「視覚が悪いのか」「制御が悪いのか」を切り分け可能
4. 論文で Vicon が“強い”理由
Vicon を使うと、査読者はこう思います：「ロボットがどこにいたかは確実に分かっている」つまり、
- 失敗 → アルゴリズムの問題
- 成功 → 手法の有効性
5. T&R（Teach & Repeat）との関係
Vicon があるとできること
- 教示軌道と再生軌道の直接比較
- 横ずれ・蛇行の定量評価
- 「どこで・どれだけズレたか」の正確な可視化
ただし重要な点
- Vicon はナビゲーションに使われていない
- あくまで 評価用（外部真値）
6. SCOUT との関係（あなたの文脈）
Husky + Vicon
- 理想条件
- 再現性が高い
- 論文的に“安全”
SCOUT（Viconなし）
- 実環境条件
- センサ不完全
- 研究的に“難しいが価値が高い”
Vicon がなくても評価指標（hold_window_fail 等）で語れるこれは 一段上の主張です。
7. Vicon の弱点（正直に）
- 💰 非常に高価（数百万円〜）
- 🏠 屋内限定
- 👷 マーカー貼付・キャリブレーションが手間
- 🌞 屋外・長距離では使えない
Vicon モーションキャプチャシステムについて教えてください
Vicon モーションキャプチャシステムは、研究・産業用途で広く使われている高精度な外部トラッキング（Ground Truth）取得装置です。 特にロボット実験では「真値を疑われない」ための基準計測として重宝されます。Vicon モーションキャプチャとは
Vicon は、複数台の赤外線カメラで空間内の反射マーカーを同時観測し、対象物の**6自由度姿勢（x,y,z + roll,pitch,yaw）**をミリ〜サブミリ精度で推定します。
1. 仕組み（何が起きているか）
構成要素
- 赤外線カメラ（複数台） 天井や壁に固定。互いに同期して撮影。
- 反射マーカー ロボットや物体に貼付（パッシブ）。
- Vicon ソフトウェア マーカー対応付け → 3D 再構成 → 剛体姿勢推定。
推定フロー
- 各カメラがマーカーを検出
- 複数視点から三角測量
- 事前に定義した剛体モデルに当てはめ
- 6DoF 姿勢を高レートで出力（100–500 Hz）
2. 精度・性能の目安
| 項目 | 典型値 |
|---|---|
| 位置精度 | 0.1–1 mm |
| 姿勢精度 | 0.1° 前後 |
| レイテンシ | 数 ms |
| 更新レート | 100–500 Hz |
| 視野 | 室内限定（数 m〜数十 m） |
3. ロボット研究での使われ方（重要）
(A) Ground Truth の取得
- 自己位置推定（VPR/SLAM/VO）の誤差評価
- 軌道追従の平均偏差・最大偏差算出
(B) 制御性能の検証
- T&R で
- 教示軌道と再生軌道のズレ量
- 収束速度 を定量化
(C) アルゴリズム分離
- 「視覚が悪いのか」「制御が悪いのか」を切り分け可能
4. 論文で Vicon が“強い”理由
Vicon を使うと、査読者はこう思います：「ロボットがどこにいたかは確実に分かっている」つまり、
- 失敗 → アルゴリズムの問題
- 成功 → 手法の有効性
5. T&R（Teach & Repeat）との関係
Vicon があるとできること
- 教示軌道と再生軌道の直接比較
- 横ずれ・蛇行の定量評価
- 「どこで・どれだけズレたか」の正確な可視化
ただし重要な点
- Vicon はナビゲーションに使われていない
- あくまで 評価用（外部真値）
6. SCOUT との関係（あなたの文脈）
Husky + Vicon
- 理想条件
- 再現性が高い
- 論文的に“安全”
SCOUT（Viconなし）
- 実環境条件
- センサ不完全
- 研究的に“難しいが価値が高い”
Vicon がなくても評価指標（hold_window_fail 等）で語れるこれは 一段上の主張です。
7. Vicon の弱点（正直に）
- 💰 非常に高価（数百万円〜）
- 🏠 屋内限定
- 👷 マーカー貼付・キャリブレーションが手間
- 🌞 屋外・長距離では使えない
- Tsukuba Challenge
- 実運用ロボット
8. まとめ（超重要）
- Vicon は 「評価のための絶対基準」
- T&R論文では アルゴリズムを守る盾
- あなたの SCOUT 研究は Viconなしで成立する評価体系を作っている
もし次に進むなら：
- Vicon を使わない論文の書き方
- hold_window_fail を Ground Truth 代替としてどう主張するか
- 「Husky+Vicon 論文」と「SCOUT 実運用研究」の位置づけ対比
