AIは三面図から立体を起こせるか? Codexに41部品をモデリングさせて採点した

Codexが作った11部品と、正解とのIoU

図面を見て頭の中で立体を組み立てる。製図を習った人なら誰でも通る道ですが、これをAIにやらせたらどこまでできるのか。気になったので、OpenAIのコーディングエージェント「Codex」に三面図を渡して3Dモデルを作らせ、正解と突き合わせて採点してみました。

結論から書くと、寸法の書かれた機械加工部品なら、ほぼ正確に立体にできます。一方で、情報が足りない図と、勾配や丸みの多い鋳物のような形状ではっきり崩れました。どこまでできて、どこで崩れたのかを数字と図で紹介します。

目次

やったこと

Codexに図面の画像を渡し、Pythonの3D CADライブラリ「CadQuery」でモデルを作らせました。出力はSTEPファイルです。それを正解のモデルや公表されている正解値と比べて採点します。

テストは、難しさを変えて4段階用意しました。

段階 内容 件数 採点の方法
① 寸法なしの線画 研究用データセット(SPARE3D)の三面図+自作の実物2件 18 正解の立体図と見比べて手採点
② 寸法入りの三面図 JISの描き方で自作した機械部品 6 正解モデルとの形状一致度(IoU)
③ 実際の機械部品 米国NISTが公開している部品(6〜663面) 11 正解モデルとの形状一致度(IoU)
④ 実際の試験図面 SOLIDWORKS認定試験(CSWA)のサンプル問題 6 公表されている正解の質量(±1%)

IoUは、2つの立体が重なっている部分の体積を、どちらかに含まれる部分の体積で割った値です。1.000なら完全に一致、0.9なら1割ほど形がずれている、と読んでください。

テスト問題の準備と採点の仕組みづくりは、Claude(Anthropic)に手伝ってもらいました。AIが作ったモデルを別のAIと一緒に採点した形です。

Codexへの指示

Codexには、作業フォルダに置いた指示書(AGENTS.md)で次のことを伝えました。

  • 図面の約束事(第三角法、かくれ線、寸法記号の意味など)
  • 手順:読図 → 寸法表の作成 → モデリング → 自己検証
  • 自己検証の方法:作ったモデルを3方向に投影し、元の図面と見比べて直す(最大3回)
  • 結果と一緒に、推測した箇所と自信度(高・中・低)を正直に書くこと
  • 正解ファイルやネット上の解答は見ないこと

最後の点は、あとで確認したときに大事になりました。

① 寸法なしの線画:比率は読めるが、曲面と内部が弱い

最初は、寸法が一切書かれていない三面図です。研究用データセットSPARE3Dから、正解の立体図が付いた16件を使いました。手元にあったスプーンとハンマーの図面も加えています。図は論文からの引用になるので、ここには載せません。

採点は、外形・内部の穴・比率・整合性を各3点、12点満点でつけました。結果は平均10.4点です。

  • 易しい問題(押し出し+穴):平均11.8点。ほぼ満点
  • 中くらいの問題(段付き・切欠き):平均10.3点
  • 難しい問題(回転体の組み合わせ・曲面):平均8.3点

ビュー間の比率を読んで形を組み立てるのは、かなり得意です。穴の数を4つと正しく数え、私がフォルダ名に書いた「穴3」の方が間違っていた、という場面もありました。苦手なのは、なめらかな曲面と、外から見えない内部の構造です。台座の上に山形の突起が2枚立つ形状を、ドームと同心の波形の曲面だと解釈したものもありました。

② 寸法入りの三面図:6件とも完全一致

次は、JISの描き方で寸法を入れた三面図です。L形ブラケット、段付きブロック、ボス付きフランジ、Vブロック、キー溝付きの段付き軸、リブ付きの軸受ブラケットの6部品をCADで作り、そこから図面を描きました。正解モデルがあるので、IoUで採点できます。

寸法入りの三面図(左)とCodexが作ったモデル(右)。リブ付きの軸受ブラケット
寸法入りの三面図(左)とCodexが作ったモデル(右)。リブ付きの軸受ブラケット

結果は、6件ともIoU 1.000でした。体積の誤差もほぼ0%です。

  • 「4×φ10 キリ」「P.C.D. 76」「φ15 深ザグリ 深さ8」「C1」などのJISの記号を、すべて正しく解釈した
  • キー溝の深さは図に直接書かず、「軸の下端からキー溝の底まで26」という寸法から逆算させる形にしたが、正しく4mmと求めた
  • 寸法のない位置は、対称性から決めた根拠をレポートに書いた
  • 面取りの引出線は左端にしかないのに、右端にも面取りがあることに気づいて「推定」と申告した

1件だけIoUが0.99995になりました。調べると、私が作った正解モデルの方が、V溝が0.02mm狭くなっていました。Codexのモデルの方が図面どおりです。

③ 実際の機械部品:機械加工の部品は500面を超えても正確

ここからは実際の部品です。米国NISTが公開しているCADのテスト部品を11件使いました(パブリックドメイン)。

ひとつ問題がありました。NISTの元図面は「公差を指示した箇所以外の寸法はCADモデルから取ること」という前提で描かれていて、図面だけでは寸法が足りません。そこで、正解モデルから第三角法の三面図を描き直しました。面の数が多く、普通の寸法線では図面が埋まってしまうので、寸法は座標の表で渡しています(JISの座標寸法記入法の考え方です)。

三面図と座標寸法表(上)から作ったモデル(下左)と正解(下右)。517面の部品でIoU 0.998
三面図と座標寸法表(上)から作ったモデル(下左)と正解(下右)。517面の部品でIoU 0.998

結果がこちらです。

Codexが作った11部品と、正解とのIoU
Codexが作った11部品と、正解とのIoU
面の数と、正解との形状のずれ
面の数と、正解との形状のずれ
  • 7件はIoU 0.995以上で、ほぼ完全一致。517面の部品(N04)も0.998
  • 1件(N10)は0.979
  • 崩れたのは3件(N07 0.843、N05 0.873、N02 0.927)

崩れ方は、面の数の多さでは決まっていません。517面のN04はほぼ完全で、269面のN07が最低でした。崩れた3件に共通するのは、抜き勾配のついた壁、中空の内部、根元の丸みが多い、鋳物のような形状だという点です。

N07:外から見るとほぼ同じ
N07:外から見るとほぼ同じ

N07は外から見るとほとんど区別がつきません。ところが断面を切ると、差がはっきり出ます。

N07の断面。灰色が正解、青がCodexのモデル。内壁の勾配を逆に解釈し、下の方の壁が薄くなっている
N07の断面。灰色が正解、青がCodexのモデル。内壁の勾配を逆に解釈し、下の方の壁が薄くなっている

正解の内壁はほぼ垂直で、下端に小さな段があります。Codexは内壁を下に向かって広がる斜面として作ったため、壁が薄くなりました。体積は正解より14%少なくなっています。外観だけを確認していたら、まず気づかない間違いです。

④ 実際の試験図面:6問中5問が正解

最後は、SOLIDWORKS認定試験(CSWA)のサンプル問題です。米国式の図面で、断面図や「TYP」の表記が入っています。正解は質量で公表されているので、Codexのモデルの体積に密度を掛け、±1%以内なら正解としました(試験と同じ基準)。図面は試験元の著作物なので、ここには載せません。

問題 内容 結果
工具ブロック Step1〜4 1つのブロックを、寸法変更・溝の追加・ポケットの追加と4段階で改造 4問とも正解(誤差0.00%)
2007年 Q1 曲面の切欠きと複数の穴がある銅の部品 正解(+0.16%)
2007年 Q6 寸法入りの等角図1枚だけの部品 不正解(−21.6%)

工具ブロックは4問とも、質量が小数第2位まで一致しました。あまりにぴったりなので、正解を盗み見ていないか確認しました。

  • Codexのレポートに、正解ファイルを参照した記述はない
  • 正解を見たのなら、Q6も合っているはず
  • CSWAの正解は正確なCADモデルから計算した値なので、形が正しければ小数第2位まで一致するのが自然

という理由で、本当に図面から正しく作れたと判断しています。

外れたQ6は、三面図ではなく、寸法の入った等角図1枚だけの問題です。Codex自身もレポートで「等角図だけでは、傾斜面の下側のつながりが完全には決まらない」と書いて、自信度を「中」にしていました。

採点の落とし穴:IoUが1を超えた

ひとつ、採点する側の失敗も書いておきます。

最初は、CADの交差計算(ブーリアン演算)で2つのモデルの共通部分を求めてIoUを出していました。ところが、ある部品でIoUが1.37になりました。1を超えることはあり得ません。別の部品では、形がほぼ同じなのに0.65と出ました。

原因は、ほぼ同じ形状どうしの交差計算では、面がぴったり重なる箇所で計算が失敗することでした。正解とよく似たモデルほど、採点が壊れやすいことになります。

そこで、部品の外形の箱の中にランダムに3万点を打ち、両方のモデルの内側に入る点の割合からIoUを求める方式に変えました。こちらは安定して動きます。AIの出力を自動で採点する仕組みを作るときは、採点する側も検証が必要だと痛感しました。

分かったこと

1. 寸法の書かれた機械加工部品なら、ほぼ確実に立体にできる

②は6件すべて、③の機械加工部品も500面を超えてほぼ完全一致、④も5問正解でした。JISの記号、断面図、連続した改造にも対応できています。

2. 崩れるのは「情報が足りない図」と「鋳物のような形状」

寸法のない曲面、等角図1枚だけの問題、抜き勾配と中空と丸みが重なる形状で崩れました。どれも、図面から形が一通りに決まらないか、決めるのに手間がかかる種類のものです。

3. 自信度の自己申告がよく当たる

③で自信度「低」と申告した2件は実際に崩れ、「高」と申告した3件はすべてIoU 0.996以上でした。外れたのは、「中」と申告して0.873だった1件だけです。自信度の低いものだけ人が確認する、という使い方ができそうです。

4. 外観の確認だけでは間違いを見逃す

N07のように、外から見るとほぼ同じでも中身が違う、ということが起きます。体積や断面で確認する仕組みが欠かせません。

ものづくりの現場でどう使えそうか

加工の依頼で受け取る図面から3Dモデルを起こす作業は、地味に時間がかかります。今回の結果を見ると、次のような使い方は現実的だと思います。

  • 機械加工部品の3Dモデル起こしの下書き:寸法の揃った図面なら、ほぼそのまま使えるモデルが出てくる
  • 図面の不足の指摘:寸法が足りない箇所を「推定」として申告してくれるので、依頼者に確認すべき点の洗い出しに使える
  • 自信度で仕分け:自信度の低いもの、鋳物のような形状のものだけ人がしっかり確認する

ただし、今回のテストには限界があります。

  • 図面はどれもCADから描いたきれいな画像で、スキャンした図面や手描きの図面は試していない
  • ③は座標の表を渡しているので、純粋に図面を読む力のテストではない
  • 件数はまだ少ない

次は、スキャンした図面や、寸法の抜けがある図面で試してみたいと思っています。

参考

  • SPARE3D: Han et al., “SPARE3D: A Dataset for SPAtial REasoning on Three-View Line Drawings”, CVPR 2020(GitHub)
  • NIST MBE PMI Validation and Conformance Testing Project(NIST、パブリックドメイン)
  • SOLIDWORKS CSWA Sample Exam 2013 / 2007(2013年版PDF)
  • CadQuery(GitHub)
よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

NC旋盤やマシニングセンタで、装置製作や部品加工をしている現場のエンジニア。ものづくり×AI、技術士試験、投資を、自分で手を動かして試した結果として書いています。Kindle著書12冊。

コメント

コメント一覧 (1件)

コメントする

日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)

目次