実ロボット走行を伴うビジュアル・プレース・リコグニション（VPR）研究の整理

はじめに

視覚情報を利用してロボットが自分の場所を認識する ビジュアル・プレース・リコグニション (VPR) は，カメラの取り付け場所や照明条件が変化する実世界の環境において安全にナビゲーションするための重要技術である．VPRは，巡回経路を人間が教示した後にロボットが自律走行する Visual Teach-and-Repeat (VT&R) や，教示経路を一般化して未知の経路を追従する Visual Teach and Generalise (VTAG) といった実ロボットのナビゲーション・システムに組み込まれている．ここでは，2020年代前半〜2026年1月現在までに発表された実ロボット走行を含む代表的なVPR関連論文・データセットを整理し，使用されたロボットプラットフォームや環境条件，成果についてまとめる。

初期の教示・繰り返しシステム（2010〜2013年）

近年のVPRを用いた実ロボット走行研究

1. ロボットの走行とVPRマッチを統合したナビゲーション (RA‑L 2024)

• 論文: Improving Visual Place Recognition Based Robot Navigation by Verifying Localization Estimates (Mahdiら，2024年)

• ロボット: Clearpath Jackal (四輪差動駆動)，Occam 360パノラマカメラ，車輪エンコーダ，Velodyne VLP‑16 LiDAR（地図生成と真値計測用）。

• 手法: パノラマ画像からNetVLAD特徴を抽出してVPRマッチングを行い，多層パーセプトロンによるインテグリティ・モニタを用いて誤検出を弾く。履歴付き推定（odometryとVPR一致を統合）と単一クエリ方式を比較。

• 実験: 屋内オフィスと屋外キャンパスでJackalを走行させ，目的地ゾーンの到達判定や復帰精度を測定。インテグリティ・モニタにより正しいVPR一致のみを利用した場合，ゴール誤差は0.29 m以下となり，VPRのみの場合より安全に停止できた。過酷な照明条件や遮蔽物でもナビゲーション成功率が向上。

2. 深層局所特徴を用いたマルチプラットフォーム教示・繰り返し (SSM‑Nav2，2025年)

• 論文: Multi‑Platform Teach‑and‑Repeat Navigation by Visual Place Recognition Based on Deep‑Learned Local Features (Šmídaら，2025年)

• ロボット: Clearpath Husky A200 (地上走行)とDJI Ryze Telloドローン。HuskyにはIntel RealSense D435カメラ，GTX 1070搭載PCを搭載。

• 手法: 教示走行中に取得した画像からSuperPoint+SuperGlueで視差を推定し，横方向シフトに基づく目標生成を行う。マルチプラットフォーム（地上・空中）で同一の教示データを利用可能。

• 実験: 屋内ラボ環境で基本経路・複雑経路・シフト開始・中間開始を含む4シナリオを実施し，Viconで計測。Huskyが夜間や経路途中からでも平均1.3 cm〜2.9 cmの精度で経路を追従した。屋外でも教示からの横ずれに強く，従来のSSM‑NavやBearNavより精度が向上した。

3. 動的環境に対応する軽量VTR (FFI‑VTR，2025年)

• 論文: FFI‑VTR: Lightweight and Robust Visual Teach and Repeat Navigation based on Feature Flow Indicator and Probabilistic Motion Planning (Wangら，2025年)

• ロボット: 差動二輪移動プラットフォームにMYNTEYE‑SC IMU付きカメラとLivox Mid‑360 LiDAR，Jetson AGX OrinオンボードPC。

• 手法: 畳み込み特徴点から算出した**Feature Flow Indicator (FFI)**でロボットの移動方向を推定し，確率論的な軌道計画で動的障害物回避を行う。従来のQVPRやVT&R3より低計算負荷で動的シーンに適応。

• 実験: 屋内狭い通路と屋外歩道で教示・繰り返しを実施し，歩行者や障害物を避けながら1〜2 m/sで走行。提案法は障害物回避しつつ経路を完走したが，既存手法は途中で停止・失敗することが多かった。プロトタイプは実時間で処理できる軽量さが特徴。

4. イベントカメラによる高速教示・繰り返し (Event‑based VT&R，2025年)

• 論文: Event‑Based Visual Teach‑and‑Repeat via Fast Fourier‑Domain Cross‑Correlation (Nairら，2025年)

• ロボット: AgileX Scout MiniロボットにProphesee EVK4 HDイベントカメラを前方に装着し，11世代Intel Core i7搭載ラップトップで処理。

• 手法: イベントストリームをフレームに積算し，フーリエ領域でクロスコリレーションを行うことで300 Hz超の補正レートを実現。イベントフレームを320×180に圧縮し高速化。

• 実験: 実験は狭い屋内廊下（幅135 cm）と大学キャンパスの舗装路・芝生の屋外経路（全長1500 m超）で実施。平均速度0.35 m/sで走行し，教示・繰り返しを16回行った結果，提案法は100 %の成功率で経路を完走し，最大絶対軌跡誤差は屋内で10.9 cm，屋外で23 cmだった。オドメトリのみでは8〜31 %しか完走できなかった。

• 成果: 従来のフレームベースVT&Rより35 %精度が向上し，視覚補正の処理遅延は平均3.3 msと小さい。動的な屋外環境でも100 %成功し，イベントカメラの高ダイナミックレンジや低遅延が有効であることを示した。

5. 平均表現による迅速な視覚誘導追従 (VTAG，2025年)

• 論文: Rapid Deployment of Visual Path Following via Average Representation (Rozsypálekら，2025年)

• ロボット: Boston Dynamics SpotとClearpath Jackal。両者にBasler Ace 2カメラ（1080p/40 FPS）を前後に搭載し，SpotにはIntel NUC i7，JackalにはJetson AGX Orinを使用。

• 手法: 教示中に取得した画像から目的物（廊下の中心線や手すり）の特徴を平均化したAverage Representationを生成し，教示後すぐにクロスコリレーションで進行方向を推定する。特徴抽出に深層学習モデルを用いるが，ファインチューニングは不要で少数の画像で迅速に展開できる。

• 実験: 5つの環境で実験。廊下走行では15 m分の画像30枚から平均表現を生成し，別の2本の廊下を幅1 mずれた位置からスタートして走行させたところ，ロボットの横方向誤差は0.07±0.04 mに収束した。川沿いの手すり追従では20 mの教示から500 m以上の往復走行に成功し，道幅や手すり構造が変化しても追従できた。さらに歩道や縁石追従の実験では，VT&Rと同等の収束性能で，日夜・季節の変化に対して平均表現のロバスト性を検証した。

6. レーダー教示・繰り返し (RT&R，2024年)

• 論文: Radar Teach and Repeat: Architecture and Initial Field Testing (Qiaoら，2024年)

• ロボット: Clearpath Warthog UGVにNavtech RAS3レーダーとOuster OS1‑128 LiDAR，NovAtel RTK GPSを搭載。

• 手法: FMCWレーダから得られる2Dポイントクラウドを用いてローカルマップを作成し，トップロジカルに連結して教示経路を繰り返す。3D LiDARを用いたVT&R3と比較。

• 実験: 林道やオフロード環境で11.8 kmの教示・繰り返しを行い，5.6 cm〜12.1 cmの横方向RMSEで経路を追従した。レーダのみでもLiDARと同程度の精度であり，悪天候時の有望な代替手段と結論付けた。

7. イベントカメラ+SNNによる低消費電力VPRデータセット (Hybrid gVAE，2026年)

• 論文: Hybrid Guided Variational Autoencoder for Visual Place Recognition (Wangら，2026年)

• データセット: モバイルロボットTurtlebot4に2台のDAVIS 346イベントカメラを搭載し，6 m×4 mのオフィス模擬環境で3回走行。カメラの焦点距離は左右で異なり（左12 mm，右2.5 mm），使用するのは2.5 mmのカメラのみ。モーションキャプチャシステムでロボットの位置を計測し，正常照明2回と暗所1回のデータを収集。各走行では1,500〜1,700のイベントフレームを生成し，2 ms窓で128×128画素に積算する。

• 成果: イベントカメラとスパイキングニューラルネットワークを組み合わせたハイブリッドVAEを提案し，新データセットAachen‑indoor‑VPRに対し従来のCNNベースNetVLADと同等の分類性能を示しつつ，ニューロモルフィックハードウェアで動作可能なコンパクトさと高い一般化能力を実証。この研究はナビゲーション実験ではなく屋内の場所分類が対象だが，ロボットで取得したイベントデータセットを公開している。

8. 室内マルチドメインVPR・異常検知データセット (MDDRobots，2025年)

• 論文: Multi‑Domain Indoor Dataset for Visual Place Recognition and Anomaly Detection by Mobile Robots (Wozniakら，2025年)

• 内容: 9つの室内環境で89,550枚のRGB画像を収集。データ収集は人間操作と複数種類の移動ロボット（名称は非公開）の両方で行われ，照明条件，ロボット視点，人の活動など多様な要因を含む。既存データセットの課題を分析し，ロボット用マルチドメインVPRと異常検知に対応する貴重なデータを提供している。

• 用途: データセット自体はナビゲーションではなく場所認識と異常検知だが，ロボット視点の画像が含まれ，VPRアルゴリズムの実運用を想定した検証が可能。

9. クロスドメインVPRのための小型ヒューマノイドロボットデータセット (2023年)

• 論文: Cross‑Domain Indoor Visual Place Recognition for Mobile Robot via Generalization Using Style Augmentation (Gawelら，2023年)

• ロボット: NAO V4ヒューマノイドロボットにXtion PRO LIVEカメラを搭載し，VGA解像度（640×480）・30 FPSで撮影。

• 内容: 9カ所の室内環境で照明や人の活動を変えながら記録し，複数のカメラ機種間・環境条件間でのVPR性能を評価するデータセットを公開。ロボット側はVPRのみで移動しないが，実ロボットで撮影したシーケンスのバリエーションが特徴。

考察と展望

1. 多様なセンサと学習手法の導入: 2010年代前半はステレオカメラやLiDARに基づくクラシックなVT&Rが主流であったが，近年は深層学習による局所特徴やイベントカメラ，レーダーなど多様なセンサが取り込まれている。イベントカメラを利用したVT&Rは300 Hz以上のフィードバックでダイナミックな環境に対応できる。レーダーT&Rは悪天候下や視界不良環境への適用を示し，光学センサに依存しない教示・繰り返し技術の可能性を拡げた。

2. 高精度な場所推定と安全性向上: RA‑L 2024の研究はNetVLADによるVPRマッチを用いたロボット走行に対し，機械学習によるインテグリティ・モニタを組み合わせることで誤検出を排除し，ゴール検出誤差を0.29 m以下に抑えた。FFI‑VTRやSSM‑Nav2は動的障害物や複数プラットフォームに対応し，実運用に近い条件でナビゲーション成功率を向上させている。

3. データセットの拡充と環境の多様性: MDDRobotsやAachen‑indoor‑VPRなど，ロボット視点の多様な環境・照明条件を含むデータセットが公開され，VPRアルゴリズムの汎化性能評価が可能になってきた。一方で実際の走行タスクと結びついたデータセットはまだ少なく，今後はナビゲーション実験とデータ公開を両立した研究が期待される。

4. 課題と今後の方向性:

   • 長期的変化への対応: 季節変化や雪深さの増加など長期的変化下での教示・繰り返しは未解決課題であり，レーダーやマルチセンサ融合による堅牢化が求められる。

   • リアルタイム性と省電力: イベントカメラやスパイキングニューラルネットワークを用いた低消費電力VPRが登場しているが，現状は小規模室内データセットでの検証に留まる。屋外ロボットでの適用や学習済みモデルの軽量化が研究課題である。

   • 複数ロボットの協調: 複数ロボットが視覚特徴を共有して位置を補強するCollaborative VPRも提案されており，今後は共同ナビゲーションや地図共有と組み合わせた応用が期待される。

おわりに

ここでは，実ロボットの走行を含むビジュアル・プレース・リコグニション研究を時系列で整理した。2010年代の基礎的な教示・繰り返しから，深層学習・イベントカメラ・レーダーなど新しいセンサやアルゴリズムを組み合わせた2025年以降の研究まで，ロボットプラットフォームや環境に応じた多様なアプローチが提案されている。特に2024–2025年の研究では，VPRを単なる画像マッチングから「安全なナビゲーション機能」へと昇華させるための信頼性向上が重視されている。今後は，長期的な環境変化や複数センサ・複数ロボットによる協調に対する堅牢性向上と，低消費電力でのリアルタイム処理が研究の焦点となるだろう。

ティーチ＆リピートにおける Visual Place Recognition（VPR）と状態検出への利用

ティーチ＆リピートにおける自己位置推定手段としての VPR

• Visual Teach and Repeat (VTR) システムは、カメラで経路を記録する「教示」フェーズと、後でその経路を自律的にたどる「繰り返し」フェーズから成ります。ロボットは現在の画像と記録済みのキー画像を照合することで教示経路上の位置を再推定します。この作業は本質的に視覚的な場所認識の問題です。初期の VTR システムとしては Furgale & Barfoot（2010）が挙げられ、ステレオカメラと外観ベースの局所化により、ローバーが32km以上の長距離を自律走行できることを示しました。

• Churchill ら（2013/2015）はこの考えを拡張し、「ローカライゼーション・エンベロープ」と呼ばれる、教示経路の周囲で視覚的ローカライザが再局所化できる範囲を調査しました。彼らの「Know Your Limits」という論文では、局所化性能の空間モデルをティーチ＆リピートのマップに埋め込みました。教示経路周辺をサンプリングし、ガウス過程モデルを学習させることで、ロボットが局所化を失わずにどれだけ経路から外れられるかを予測しました。この研究でも VPR はあくまで自己位置推定モジュールとして扱われており、より高次の状態検出は行っていません。

• Dequaire ら（2016）は、見た目に基づく手法でローカライゼーション性能を推定するアプローチを提案しました。外観と軌跡の曲率を入力とするガウス過程回帰モデルを学習し、教示軌跡周辺の任意の点で一致する特徴点数（ひいては局所化成功率）を予測するものです。この手法も局所化成功の予測が焦点であり、ロボットの停止や制御不能を検出するものではありません。

• より新しいティーチ＆リピート研究でも、局所化には VPR が使われ続けています。Pivoňka ら（2025）は、ディープラーニングに基づく局所特徴を用いたマルチプラットフォーム T&R システムを提案しました。VPR により教示経路上の位置を推定し、車輪オドメトリや IMU 情報で制御補正を行うと説明しています。このシステムは屋内外で高い局所化性能を示しましたが、ロボットがスタックしたり制御を失った場合を検出する仕組みについては述べられていません。

• VTR は無人航空機（UAV）の緊急帰還にも応用されています。Warren ら（2019）は「There’s No Place Like Home」というシステムを発表し、離陸後にビジュアルマップを構築し、GPS が失われた際にそのマップを使って帰還することを示しました。GPS 故障が起きるとライブ画像をマップに局所化し、教示経路を辿ってホームポジションへ戻ります。これは VPR がバックアップの航法手段として使えることを示しますが、依然として自己位置推定の枠内にあります。

まとめとして、ティーチ＆リピート研究では VPR が教示軌跡上のロボット位置を推定する主要な手段として一貫して利用されています。多くの論文が VPR による局所化の限界（どれだけ逸脱すると局所化が失敗するか）をモデル化していますが、VPR を高次の状態検出ツールとして扱うことはほとんどありません。

故障や異常状態の検出に関する研究

VPR は主に局所化に使われていますが、局所化の失敗を予測したり、視覚情報で異常を検出しようとする研究も一部存在します：

• 局所化性能の予測。　Churchill ら（2015）や Dequaire ら（2016）はローカライゼーション・エンベロープをモデル化し、経路計画に活用する研究を行いました。Gurau ら（2017）は過去の経験に基づいて認識性能を確率的に予測する手法を提案しました。「Learn from experience」モデルは、局所化や認識アルゴリズムが失敗しやすい場所を予測し、失敗の可能性が高いときには人間操作者に制御を委ねることを示唆しています。これらはどこで局所化が困難になるかを予測するもので、ロボットの運用状態（スタック等）を検出するものではありません。

• 視覚的異常検出データセット。　近年、ロボティクス分野では視覚データによる異常検出を研究するためのデータセットが公開されています。2025年の Scientific Data の記事では、環境の変化や予期しない物体、機器故障などの異常が含まれるマルチドメイン屋内データセットを紹介し、VPR を場所認識と異常検出の両方に利用しています。論文では、異常はロボットの故障や遅延を引き起こすリスクがあると指摘し、異常検出が無人運用に不可欠であると述べています。ただし、このデータセットはティーチ＆リピート航法に異常検出を統合してはいません。

• オフパス検出。　2022年のカーネギーメロン大学の修士論文では、VPR を用いてユーザーやマッピングローバーの位置をリアルタイムに推定するパイプラインを提案しました。このパイプラインは、エージェントが教示経路から外れた状態を検出し、経路に戻ると再び局所化できるようにしています。これは VPR を純粋な局所化から一歩進めて「オフパス状態」を検出し対応する例ですが、スタックや制御不全は対象外です。

• 敵対的攻撃検出。　Malone ら（2025）は VPR に対する敵対的攻撃を分析し、VPR とナビゲーションに統合された敵対的攻撃検出器（AAD）を提案しました。彼らは「危険な状態にある時間の割合」などの指標を評価し、AAD の導入により局所化誤差が減少することを示しています。これは意図的な攻撃への対策であり、自然発生的な制御失敗やスタックを扱ってはいません。

• 失敗に強い視覚ナビゲーション方策。　近年の機械学習研究では、学習された視覚ナビゲーションに外れ値検出（OOD検出）を組み込み、失敗を検出・回復する方策が提案されています。例として、Fare フレームワークは学習済み方策に OOD 検出と認識を埋め込み、回復行動を誘発します。しかしこれは学習型ナビゲーション制御の話であり、クラシカルな VPR ベースのティーチ＆リピートとは異なります。

現行研究の限界

既存の文献からは、VPR がロボットの進行不能（スタック）や制御失敗を直接検出するために広く利用されている証拠はほとんど見当たりません。上述のティーチ＆リピート研究は以下のいずれかに該当します：

• 将来の局所化失敗を予測し、計画を調整する

• 視覚データで予期しないシーンや未知の部屋といった異常を検出する

• 教示経路から外れた状態を検知する

これらは進行不能や制御失敗そのものの検出には直接結び付いていません。実際、ティーチ＆リピート方式で動くロボットは、車輪オドメトリや LiDAR、バンパーセンサなどの別のセンサや監視ロジックを用いてスタックを検出し、予期しない障害物に対処しています。商用の床洗浄ロボットでは、ティーチ＆リピート方式は環境変化により停止しやすく、操作者が救出して再教示しなければならないと指摘されています。

結論

調査した論文は、最初の主張を支持しています。つまり、Visual Place Recognition はティーチ＆リピート航法における自己位置推定の中核技術となっており、従来のメトリックマッピングを置き換えたり補完したりしています。Furgale & Barfoot（2010）、Churchill ら（2015）、Dequaire ら（2016）、Warren ら（2019）、Pivoňka ら（2025）など、多くの研究が地上および空中ロボットの VPR ベースティーチ＆リピートシステムを示しています。

一方で、VPR は「どこにいるか」を推定するために開発された技術であり、ロボットがスタックしたり制御を失ったりするような運用状態を検出するためのものではありません。局所化性能を予測したり、オフパス逸脱や敵対的攻撃を検出する研究はありますが、VPR を直接使って進行不能や制御失敗を検出する事例はほとんど見つかりません。最近の視覚的異常検出や OOD 検出の研究は、ロボットの状態認識を拡張する可能性を示唆していますが、「ロボットがスタックしたことを VPR が検知する」といった応用は現時点では未開拓の研究領域と言えます。