SCOUT × MulmoChat

# ── ファイル構成 ── scout_mulmochat/ ├── bridge_server.py # FastAPI サーバー（メイン） ├── ros_client.py # rospy でSCOUTと通信 ├── tools/ │ ├── __init__.py │ ├── get_status.py # getScoutStatus ツール │ ├── patrol.py # startPatrol / stopPatrol │ ├── correction.py # moveCorrection / rotateCorrection │ └── diagnosis.py # presentDiagnosis / askOperatorDecision ├── llm_client.py # Claude/GPT API呼び出し（tool_use対応） ├── state_monitor.py # 状態監視スレッド ├── interaction_log.py # 構造化ログ記録 └── frontend/ └── app.py # Gradio or Streamlit チャットUI

# ── bridge_server.py（概念コード） ── from anthropic import Anthropic tools = [ { "name": "getScoutStatus", "description": "SCOUTの現在状態を取得する。画像・位置・バッテリー・Nav状態を返す", "input_schema": { "type": "object", "properties": {} } }, { "name": "moveCorrection", "description": "SCOUTを指定距離だけ前後に移動させる。正=前進、負=後退", "input_schema": { "type": "object", "properties": { "distance_m": { "type": "number", "description": "移動距離(m)。-1.0〜1.0" }, "speed": { "type": "number", "description": "速度(m/s)。デフォルト0.15" } } } } ] # LLMがtool_useを返したら → 実行 → 結果を2種類で返す def execute_tool(tool_name, tool_input): if tool_name == "getScoutStatus": status = ros_client.get_status() # ROSから取得 image = ros_client.get_camera_image() # カメラ画像 return { "llm_response": f"status={status['nav']}, battery={status['battery']}%", "gui_data": { # ← これがGUI Chat Protocolの核心 "type": "status_panel", "image": image, "nav_status": status['nav'], "battery": status['battery'], "position": status['odom'] } }