NeST: Neural stress tensor tomography by leveraging 3D photoelasticity
https://dl.acm.org/doi/pdf/10.1145/3723873 光弾性法は、応力によって誘起される複屈折を利用して、透明体内部の全視野応力解析を可能にします。既存の手法は二次元(2D)スライスに限定され、対象物を破壊的に切断する必要があります。物体全体の内部三次元(3D)応力分布を復元することは困難であり、テンソルトモグラフィ問題を解き、かつ位相包絡(phase wrapping)の曖昧さを扱う必要があります。 我々は NeST を提案します。これは偏光測定からニューラル暗黙表現として 3D 応力テンソル場を再構成する「分析―合成」アプローチです。我々の重要な着想は、ジョーンズ計算に基づく微分可能な順方向モデルを用いることで、位相展開(unwrapping)とテンソルトモグラフィを同時に扱う点です。この非線形モデルは、従来の線形近似とは異なり、実際の測定結果と忠実に一致します。 我々は多軸偏光器システムを開発し、3D 光弾性を取得できるようにしました。そして NeST が形状や荷重条件の異なる物体に対して内部応力分布を再構成できることを実験的に示しました。さらに、新しい応用例として、物体を仮想的にスライスして光弾性しま模様を可視化したり、これまで見えなかった視点から光弾性しま模様を観察できることを示しました。 NeST は、非破壊で拡張性のある 3D 光弾性解析への道を切り開きます。 位相遅れは、物体を偏光子の間に置いたときに縞模様(フリンジ)として視覚的に現れ、縞が密であるほど応力集中が高いことを示します。光弾性法は広範な応用があり、歯科インプラントの応力解析 [Goiato et al. 2014; Ramesh et al. 2016]、ガラスパネルの品質管理 [Kasper et al. 2016]、科学的可視化 [Bußler et al. 2015]、そしてジェネレーティブアート [Miyazaki and Fujishiro 2018] などに利用されています。 既存の光弾性技術のほとんどは、三次元(3D)物体の二次元(2D)スライスまたは投影に基づいています [Ramesh 2021]。平面スライスにおいては、光弾性縞の分布は主応力差の分布と直接的に対応します。3D解析の最も一般的な手法は「応力凍結法」であり、温度サイクルによって物体内の応力分布を固定化します。その後、薄片を手作業で切り出し、それぞれのスライスごとに2D応力場を取得し、それらを重ね合わせることで3D応力場を構築します。しかし、このプロセスは高コストで時間がかかり、そして何よりも破壊的です。 3D光弾性法 [Aben 1979] は、物理的な2Dスライスを必要とせずに、物体全体の三次元応力分布を復元することを目指しています。これにより、光弾性法をより非構造的かつ非破壊的なシナリオへと拡張できます。各光線の偏光状態は、その光線が物体を通過する際の応力分布を符号化しており、等価なジョーンズ行列としてモデル化されます。このジョーンズ行列は、制御された偏光照明と検出を用いることで測定可能です [Collett 2005]。 統合された偏光測定から完全な3D応力テンソル場を復元することは、2つの理由で困難です。第一に、各点での応力は3×3のテンソルですが、各光線が符号化するのは2×2の射影に過ぎません。したがってテンソル場を復元するには複数の物体回転やカメラ回転が必要であり、この「テンソルトモグラフィ問題」はX線やCTといった従来のスカラートモグラフィよりも多様な測定を要求します [Szotten 2011]。第二に、応力情報を符号化する偏光状態間の位相差は常に0から2πの範囲に折り返されてしまいます。そのため、取得された偏光測定データには位相展開処理が必要です。 既存のアプローチは、位相展開とテンソルトモグラフィの課題を2つの独立したステップで解決しようとしてきました [Abrego 2019]。まず、各回転ごとの偏光測定を、単一視点の2D光弾性法から拡張された技術を用いて個別に位相展開します [Tomlinson and Patterson 2002]。その後、展開された測定値を基底の応力テンソル場の線形射影として近似します [Sharafutdinov 2012]。しかし実験による観測から、この2段階のプロセスは現実的な応力分布下では破綻することを示しました。回転ごとに独立して位相展開を行う方法では、反復間での一貫性を保証できず、位相展開結果にアーチファクトが発生します(図8参照)。さらに、線形テンソルトモグラフィモデルは現実の測定結果と一致しないことも確認されました(図8参照)。 我々の重要な洞察は、位相展開とテンソルトモグラフィを同時に処理する点にあります。我々は、基底の3D応力テンソル分布を取得偏光測定へ写像する、ジョーンズ計算に基づく微分可能な順方向モデルを開発しました。既存の線形テンソルトモグラフィモデル [Sharafutdinov 2012] は、この一般非線形順方向モデルの一次近似に過ぎず、我々のモデルは実測と忠実に一致します(図8参照)。このモデルに基づき、我々は「NeST」を提案します。これは「分析―合成」アプローチであり、取得した強度測定から直接3D応力テンソル分布を再構成します(図1参照)。近年の逆ニューラルレンダリングの進展に着想を得て、未知の応力テンソル場の表現にニューラル暗黙表現を採用しました。ニューラル表現は、計算効率と適応的サンプリングを提供し、強く集中した応力場の表現・再構成に適しています。 我々は、手法を実験的に検証するために多軸偏光器ハードウェアを開発しました(図12参照)。このセットアップは、物体のヨー・ピッチ回転(多軸)と偏光素子の回転(偏光器)を組み合わせて複数の測定を行います。NeST は多様な3D形状や荷重条件を持つ物体の内部応力分布を再構成できます(図14参照)。さらに、推定された内部応力をニューラルレンダリングすることで、応力テンソル分布の新しい可視化手法を可能にします(図15・16参照)。また、一般的な応力分布のシミュレーションデータセットを用いて、定性的検証(図9参照)および解析(図10・11参照)を行いました。 我々の貢献(Contributions)- 実測偏光データと忠実に一致する3D光弾性のための微分可能な非線形順方向モデル。
- 取得した偏光測定からニューラル暗黙表現として内部応力分布を再構成する「分析―合成」アプローチ。
- 多軸偏光器セットアップによる提案する応力テンソルトモグラフィの実験的検証。
- 多様な物体形状および荷重条件に対する3D光弾性データセット(実測・シミュレーション)。
- 物体を仮想的にスライスしたり、未観測方向から応力フリンジを可視化するなど、新しい応力可視化手法。
2 関連研究
2.1 偏光イメージング
視覚・グラフィックスへの応用 偏光とは、光波の振動方向を特徴づけるものであり [Collett 2005]、シーンの有用な特性を符号化します。近年、グラフィックスやコンピュータビジョン分野において偏光情報を活用する研究が大きく進展しており、反射分離 [Li et al. 2020; Lyu et al. 2019]、材料セグメンテーション [Kalra et al. 2020; Mei et al. 2022]、ナビゲーション [Yang et al. 2018]、霧除去 [Schechner et al. 2001]、形状推定 [Chen et al. 2022; Cui et al. 2017; Haessig et al. 2023; Kadambi et al. 2015; Kang et al. 2023; Kim et al. 2023; Lei et al. 2022; Muglikar et al. 2023; Tozza et al. 2017; Zhao et al. 2022]、外観取得 [Baek et al. 2018; Dave et al. 2022; Deschaintre et al. 2021; Ghosh et al. 2010, 2011; Hwang et al. 2022; Ngo Thanh et al. 2015; Riviere et al. 2017] などが報告されています。また、新しい表現手法 [Kim et al. 2023; Peters et al. 2023] やデータセット [Jeon et al. 2024] も開発されています。 複屈折 本研究では、視覚やグラフィックス分野では比較的未開拓である「複屈折」という偏光現象に着目します。複屈折とは、光の偏光状態や伝播方向によって屈折率が異なる光学的性質です。光学的に異方性を持つ材料において、構造や応力が原因となって軸ごとに異なる屈折率が生じることで発現します。複屈折は光弾性法による機械的応力解析で広く研究・利用されてきました [Ramesh 2021]。また、繊維組織のイメージング [Huang and Knighton 2002]、バイオ分子配向の観察 [Yeh et al. 2024]、がん病理学 [Ushenko and Gorsky 2013]、液晶ディスプレイ [Yeh and Gu 2009] などでも活用されています。多層液晶ディスプレイ [Lanman et al. 2011] では、3D画像生成のために偏光トモグラフィモデルを使用していますが、複屈折は考慮されていません。本研究では、複屈折を活用して新しいニューラルトモグラフィ手法による3D応力計測を実現します。2.2 光弾性法
2D 光弾性法 光弾性法は、透明体における応力誘起複屈折に基づく光学現象です。構造工学 [Ju et al. 2018a; Scafidi et al. 2015]、材料科学 [Ju et al. 2019, 2018b; Wang et al. 2017]、生体力学 [Doyle et al. 2012; Falconer et al. 2019; Joseph Antony 2015; Sugita et al. 2019; Tomlinson and Taylor 2015] など、さまざまな分野で全視野応力解析に広く利用されてきました。Coker、Filon、Frocht らは古典的著書で光弾性法の原理と方法論を詳細にまとめ [Coker and Filon 1957; Frocht 1941]、Dally ら [1978] はこれを工学的問題に適用しました。デジタル写真技術 [Kulkarni and Rastogi 2016; Ramesh et al. 2011] や RGB カメラ [Ajovalasit et al. 2015] の登場は、この分野を大きく進展させました。位相シフト法 [Patterson and Wang 1991] は、偏光子要素を回転させることで縞模様から応力分布を復元する実用的手法として登場しました。近年では、機械学習を用いて光弾性縞から応力分布を推定する試みも報告されています [Briñez-de León et al. 2024, 2022; Lin et al. 2024; Tao et al. 2022]。これらは平面物体における2D応力分布の復元を対象としていますが、本研究ではより困難な3D応力分布の復元を目指します。 3D 光弾性法 光弾性法を3D物体へ拡張する従来の方法では、温度サイクルにより応力分布を凍結し、その後手作業でスライスして解析してきました [Cernosek 1980]。しかし、この方法は高コストで時間がかかり、破壊的です。3D光弾性法は、2Dスライス解析の限界を克服し、物体内部の完全な3D応力テンソル場を再構成することを目的に概念化されました [O’Rourke 1951; Theocaris and Gdoutos 1979; Weller 1941]。Aben [1979] は「積分光弾性法」の概念を定式化し、光線に沿った応力の連続積分をモデル化しました。Bußler ら [2015] はルンゲ=クッタ法による数値積分を用いて、既知の3D応力分布から光弾性縞をレンダリングするフレームワークを開発しました。ただし彼らのモデルは非微分可能であり、「分析―合成」手法には利用できません。我々は微分可能な順方向モデルを開発し、ニューラル「分析―合成」による3D応力再構成を可能にしています。付録では、レンダリングステップサイズが十分に小さい場合、我々の枠組みが積分光弾性モデルを忠実に近似することを示しています。 光弾性トモグラフィ 3D光弾性を直接的に取得・再構成する研究は非常に限られています。本研究はこの分野における大きな進展です。既存の研究の多くは光弾性順方向モデルを線形に近似し、応力場の復元を線形テンソルトモグラフィ問題として定式化しています [Sharafutdinov 2012]。Sharafutdinov [2012] および Aben et al. [2005] は単一テンソル成分の復元を定式化し、Hammer et al. [2005] は全テンソル成分の線形トモグラフィ手法を提案しました。Lionheart et al. [2009] は不完全データを扱うためのアプローチを開発し、Szotten [2011] はその手法をシミュレーションで示し、Hilbert変換法で条件付けしました。Abrego [2019] はこれらのアルゴリズムを検証する実験フレームワークを開発し、現実的データには適用できないと結論しました。我々の実験的検証も同様の結果を示し、線形モデルでは応力変動が大きい場合に実測データを説明できないことを確認しました。我々は非線形の微分可能な順方向モデルと「分析―合成」技術を開発し、実験的測定を忠実に説明し、基底の応力分布を再構成します。2.3 偏光を考慮した光伝播
グラフィックス分野では、偏光効果を取り入れたベクトル化光伝播モデルが研究されてきました。双方向レンダリング [Jarabo and Arellano 2018; Mojžíketal. 2016]、サブサーフェス・スキャタリング [Baek et al. 2018; Collin et al. 2020]、環境照明 [Yi et al. 2024]、微分可能レンダリング [Nimier-David et al. 2019] などです。特に、定数の一軸性・二軸性材料における複屈折レンダリングが研究されています [Weidlich and Wilkie 2008; Zhdanov et al. 2019; Latorre et al. 2012]。Steinberg [2020] は空間的に変動する異方性媒質の複屈折を偏微分方程式として定式化する方法を提案しました。本研究では弱い複屈折を対象とし、従来の体積レンダリングのように直線的な光線追跡とランダムサンプリングで近似します。我々は、微分可能な光伝播とニューラル表現を組み合わせることで、弱い体積複屈折から応力を逆推定する問題に取り組みます。2.4 ニューラルフィールドとニューラルレンダリング
暗黙的ニューラル表現(Implicit Neural Representations, INRs)は、学習可能モデル(例:多層パーセプトロン, MLPs)を用いて3D物体を表現する強力な技術として登場しました [Mildenhall et al. 2021]。これらのモデルは空間座標から物体特性(密度や色など)への写像を学習します。INRs にはいくつかの利点があります:- 空間座標における連続的表現
- サンプリング解像度と物体の複雑さの切り離し
- メモリ効率
- スパース性事前分布としてのコンパクト表現(逆問題の解決を助ける)
3 背景
3.1 ジョーンズ計算(Jones Calculus)
ジョーンズ計算は、光の偏光状態を記述するための数学的形式です [Collett 2005]。偏光状態は、直交する2つの偏光モードの振幅と位相を表す複素成分を含む 2×1 のジョーンズベクトル E で表されます。 ここで は電場ベクトルの 成分です。撮像素子が捉える強度 は、ジョーンズベクトルの直交成分に沿った強度の和として表されます。 ジョーンズ計算を用いると、光学素子の偏光への効果は入力ジョーンズベクトルに作用する 2×2 のジョーンズ行列として表されます。 ここで は光学素子のジョーンズ行列、 は入力ジョーンズベクトル、 は出力ジョーンズベクトルです。3.2 応力テンソル場
任意形状の物体に外力が加わると、物体内部全体にわたって体積力が分布し、力学的応力としてモデル化されます。 点 における応力は、通常、二階のデカルト応力テンソルで表されます [Dally et al. 1978]。点 に軸に平行な小立方体を考えると、応力テンソルはその各面に作用する力を 軸方向に分解したものとして表されます。 平衡条件下では が成り立つため [Dally et al. 1978]、応力テンソルは6つの未知数を持つ対称行列として表せます。 主応力は、せん断応力がゼロとなる面における法線応力として定義されます。主応力は式 (5) の応力テンソルの固有値分解によって得られ、最大・中間・最小主応力の大きさは固有値に対応します。それぞれの固有ベクトルは主応力方向を表します。4 光弾性画像形成モデル
本節では、透明物体を通る偏光光伝播が、その内部の3D応力テンソル分布をどのように符号化するかを導きます(図2)。まず、物体内部の応力が複屈折を誘起することをジョーンズ計算でモデル化します。その後、体積レンダリング的アプローチを用いて、応力‐複屈折効果を等価なジョーンズ行列へと統合し、多軸偏光器システムで測定可能な形にします。4.1 応力誘起複屈折
起点 と方向 を持つ光線が、応力を受けた透明体を通過するとします。光線上の点 は で表されます。この点での応力は、デカルト応力テンソル (式 (5))で表されます。 射影応力テンソル 光線 に直交する平面を基底ベクトル で張るとき、この平面上に射影された応力テンソルは次の 2×2 対称行列になります。 主応力 基底 が一般の場合、 は非対角行列となり、対角成分は法線応力、非対角成分はせん断応力を表します [Dally et al. 1978]。主応力方向 をとれば、 となり、 が最大・最小主応力です。一般の基底 に対して、主応力差は で与えられます。また、主応力方向の角度 は で表されます。 応力光学則 光線上の微小区間 における位相差 は、主応力差 に比例し、 で表されます。ここで は応力光学係数、 は光の波長です。 ジョーンズ行列表現 点 周辺の微小区間は、遅相軸 、位相差 を持つリターダーに相当し、そのジョーンズ行列は で表されます。一般基底 におけるジョーンズ行列は、回転角 を考慮して となります。4.2 三次元光弾性(3D Photoelasticity)
光線マーチングによる積分光弾性 光線に沿って 個のサンプル点を考え、それぞれを で表すとします。サンプル間 の応力は一定であると近似できます。式 (13) より、この区間は遅相量 と遅相軸方向 を持つリターダーとして表せ、そのジョーンズ行列を とします。光線全体にわたってこれを積み重ねることで、等価なジョーンズ行列 は以下で与えられます。 等価定理の適用 全体のジョーンズ行列は、異なる遅相量 と方向 を持つ 個のリターダーの組み合わせとみなせます。ポアンカレの等価定理により、複数リターダーの組み合わせは「1つのリターダー+回転器」と等価であることが知られています。したがって、集約ジョーンズ行列 は遅相量 、遅相軸方向 、および回転角 によって特徴付けられます [Aben 1979]。 ここで です。 線形近似 補遺で示すように、一次近似をとるとこの定式化は簡略化され、応力成分の線形結合の後に位相ラッピングが適用されます。従来研究ではこの近似を用いて光弾性トモグラフィを線形テンソルトモグラフィとして定式化しています [Sharafutdinov 2012; Szotten 2011]。 射影応力成分を以下で定義します。 このとき、線形近似下でのジョーンズ行列は で表され、 となります。 非線形モデルと線形近似の比較 一般非線形モデル(式 (15))では、光線に沿った各点での応力がジョーンズ行列として符号化され、それらを行列積で集約します。一方、従来の線形近似 [Sharafutdinov 2012; Szotten 2011] では、まず射影応力を集約し(式 (16))、その後位相ラッピングを行います(式 (17))。これらの違いを図5にまとめています。さらに、非線形モデルは3つの特徴パラメータ を持ちますが、線形近似では のみで回転成分は考慮されません。そのため、線形近似では光弾性積分による偏光の回転を正しく記述できません。図8に示すように、複雑な応力場分布において線形モデルは光弾性縞を説明できないことが確認されます。4.3 多軸ポラリスコピー
前節 4.2 では、各光線の等価ジョーンズ行列(式 (15))が応力分布の射影を符号化することを示しました。ここでは、リニアポラライザと 4分の1波長板を対象物の前後に配置したポラリスコープを用いて、このジョーンズ行列を測定する方法を説明します。その後、物体の多軸回転によって得られる測定がトモグラフィを可能にする仕組みを述べます。 円形ポラリスコープ 図6に示す円形ポラリスコープ構成を考えます。面光源からの光はリニアポラライザ(LP1)を通過し、その偏光軸は水平軸に対して角度 に設定されます。この直線偏光は、次に速軸が水平に対して角度 を持つ4分の1波長板(QWP1)を通過し、円偏光となって試料を通過します。試料を通過した光は、速軸が に設定されたもう一つの4分の1波長板(QWP2)を通過し、偏光カメラに到達します。偏光カメラは、異なる方向に配置されたリニアポラライザのグリッドを備えており、入射光線が の方向に設定されたリニアポラライザ(LP2)を通過する画素に到達したとします。 取得される強度 光源からLP1を通過した光のジョーンズベクトルを 、QWP1、QWP2、LP2 のジョーンズ行列をそれぞれ とします。式 (15) の等価ジョーンズ行列は特性パラメータ に依存します。また、物体への入射点 と出射点 では、表面法線に応じて偏光状態が変化するため、ジョーンズ行列 を考慮します。ジョーンズ計算により、センサに到達する光のジョーンズベクトル は次で表されます。 強度測定値は式 (2) を用いて として得られます。ポラリスコープの要素角度 を変化させることで、特性パラメータ を符号化する複数の強度測定を取得できます。 多軸回転 ポラリスコープ測定は、各カメラ光線に対する等価ジョーンズ行列 を符号化します。これは光線に沿った応力テンソルの射影に依存します(式 (7))。各光線は3×3応力テンソルの2×2射影しか測定できないため、全成分を得るには複数方向からの測定が必要です。そのため、単位半球上からの均一サンプリングが望まれます。 実際には、カメラ側の光線を回転させる代わりに、物体をヨー角 、ピッチ角 で回転させることが可能です(図6)。これにより、複数の異なる投影を取得し、光弾性トモグラフィを実現できます。 まとめ 我々の撮像スキーム(図6)は、(1) 物体のヨー・ピッチ回転 、(2) 各回転ごとに行う LP1()、QWP1()、QWP2()、LP2() の回転を含むポラリスコープ撮影から構成されます。各測定強度は、特性パラメータ の非線形関数 として表されます。 ここで です。図6(b) には、我々の撮影スキームで得られた円板の直径方向圧縮に対するレンダリング例を示しています。5 ニューラル応力テンソルトモグラフィ
ここでは、多軸ポラリスコープ計測から3D応力テンソル場を再構成する我々の手法を説明する。まず、応力テンソル場 をニューラル暗黙表現(neural implicit representation)としてモデル化し、続いて開発した3D光弾性モデルを用いてこれらの表現から試料の射影ジョーンズ行列 をレンダリングする方法を述べる。その後、未知のニューラル応力場を勾配ベースの最適化により解く方法を示す。我々のパイプラインは図7に示す。5.1 ニューラル応力場
応力場は物体内で大きく変化し得る。例えば、外力が物体境界に加わると、応力は境界付近で集中し、物体内部に進むにつれて疎になる(図2)。このような応力分布を表現するには、物体内の適応的なサンプリング点が必要である。しかし応力トモグラフィ問題では、初期状態では応力分布が完全に未知であるため、このサンプリングを固定的に設定することはできない。我々は、ボクセルグリッドなど従来の体積表現よりも高い表現力と計算効率を持つニューラル暗黙表現を利用し、複雑な応力分布をモデル化する [Xie et al. 2022]。 物体内の各点 における応力は、二階対称テンソル(式(5))でモデル化される。我々はこれを座標ベースのMLPネットワーク (重み を持つ)で表現し、位置 を入力として応力テンソルの5つの成分を出力する。 トレースの不定性処理 光弾性法で推定される応力テンソルには、トレース成分に未知のオフセットが存在する [Lionheart and Sharafutdinov 2009]。これは応力光学式(式(11))から明らかであり、位相差は主応力差に依存するため、主応力に一定のオフセットを加えても位相差は同じになる。この不定性により、多くの応力テンソルが測定値に適合し得る。我々はこれを解消するため、再構成された応力テンソルのトレースをゼロに設定する。したがって、第6成分 は と推定される。 占有関数 試料の3D形状は既知とし、点が物体外では0、物体表面および内部では1となる占有関数 で表現する。応力場のクエリはこの関数でマスクされる。これにより空領域の応力がゼロに設定され、ニューラル応力場の再構成が容易になる。マスク付き応力場は次のように表す。5.2 ニューラル応力場からのポラリスコープ計測の微分可能レンダリング
3D光弾性の微分可能定式化(4.2節)は、連続的な暗黙応力分布からのレンダリングに適している。ここでは、最適化フレームワークにおける利用法を述べる。 モンテカルロ光線サンプリング 各多軸回転 に対するポラリスコープ計測を得る必要がある。4.3節で述べたように、物体を固定してポラリスコープを 回転することで同等に表現できる。物体を固定することで、全ての回転に対してニューラル応力場 を同一座標系でクエリできる。各回転 について、カメラ各画素に対応する光線集合を取得し、光線を で表す。 光線ごとに区間 でN点を層化サンプリングする。各点 で応力テンソル をクエリし、式(13)からジョーンズ行列 を得る。式(14)より、射影ジョーンズ行列は光線に沿ったジョーンズ行列の積で得られる。 効率的なジョーンズ行列積 式(26)の複素2×2ジョーンズ行列の積は計算量が大きい。単純に2行列を掛けるだけで56回の積和演算が必要になる。我々はポアンカレ定理を利用し、ジョーンズ行列の構造を活かすことで計算を簡略化できることを示す。 等価ジョーンズ行列 (式(15))は4つの固有スカラー要素で表現される。 中間のジョーンズ行列 (式(13))も同様に3つの固有要素で定義できる。 これを逐次的に更新することで、全体の等価ジョーンズ行列の要素を効率的に計算できる。結果として、ナイーブな複素行列積に比べて計算量を約3分の1に削減できる。5.3 最適化目的関数
キャプチャから得られる多軸ポラリスコープ測定値 と、レンダリングによる測定値 との差をL1損失とし、ニューラル応力場パラメータ を勾配ベースで最適化する。5.4 光弾性トモグラフィ手法の比較
我々の最適化フレームワークにより、3種類の手法を比較できる(図8(a))。例として、直径圧縮を受けた2枚の平板ディスクを積層した実験データを用いる。この場合、厚み方向にスライスすると応力分布は135°から45°へ回転するはずである。比較した手法は以下の通り。- Two-step:Abregoら [2019] の線形テンソルトモグラフィに類似。各回転 ごとに位相アンラップを行い、応力を集約。その後、線形順方向モデルとニューラル応力場で線形テンソルトモグラフィを解く。
- NeST-approx:微分可能な線形順方向モデルを用い、位相アンラップと線形トモグラフィを同時に行う。
- NeST-general:非線形順方向モデルを用い、位相アンラップと非線形トモグラフィを同時に行う。
5.5 NeSTの実装詳細
最適化フレームワーク NeSTはPyTorchで実装し、バックエンドにNerfAcc [Li et al. 2023] を利用する。NerfAccはCUDAカーネルでNeRFベースの再構成を高速化する。我々の順方向モデルはユニークな複素積の連鎖を含むため、カスタムCUDAカーネルでforward/backwardを実装した。 ニューラル場のアーキテクチャ ニューラル応力場は座標ベースMLPで表現し、サイン符号化 [Mildenhall et al. 2021] とSiLU活性化関数 [Hendrycks and Gimpel 2016] を使用する。ストレス場の滑らかさを活かすため、ハッシュグリッドよりサイン符号化を選択し、ReLUよりSiLUを選んだ。MLPの深さは応力場の複雑さに応じて設定。シミュレーション実験では8層MLP(各64ニューロン、5周波数)、実データでは6層MLP(各64ニューロン、4周波数)を使用した。 占有グリッド InstantNGP [Müller et al. 2022] と同様に、空領域のサンプリングを避けるためのバイナリ占有グリッドを定義。InstantNGPでは学習でグリッドを推定するが、本研究では既知の形状から直接定義。 再構成の詳細- 最適化:Adam、学習率3e-4
- 1シーンあたり約100kイテレーション
- NVIDIA A100 GPUで全精度、1シーン約2時間
- 各イテレーションで262,144本の光線をランダムバッチサンプリング
- ステップサイズ=0.01、より小さい値にすると再構成は精度向上するが計算コスト増加
6 シミュレーション結果と解析
本節では、合成データセット上でのNeSTの評価について述べる。我々はまず複雑な物体の応力場から3D光弾性データセットを生成し、このデータセットに対するNeSTの性能を評価し、さらに重要な要因における再構成精度を解析する。6.1 シミュレートされた3D光弾性データセット
3D-TSV応力場 我々は3D-TSVデータセット [Wang et al. 2022] を利用した。これは有限要素法(FEM)シミュレーションにより、実用的な荷重条件下で複数の一般的な物体や機械部品の3D応力場を生成したものである。応力場は適応的にサンプリングされた六面体メッシュまたは直交格子で表されており、6成分の対称応力テンソルが各頂点に与えられている。データセットにはさらに物体の3D表面メッシュと荷重条件の詳細も含まれる。我々はこのデータセットから6種類の物体(Femur, Bearing, Cantilever, Kitten, Bracket, Rod)を用いた。最初の3つを図9に示し、残りは補足資料に掲載した。 KNN補間 3D-TSVデータセット内の応力場は、適応サンプリングメッシュの頂点における応力値のみが定義されている。しかしレンダリング手順(4章)は任意の3D点での応力値の問い合わせを必要とする。そこで、距離に基づくk近傍(k-NN)補間 [Qi et al. 2017] を用いて任意の内部点での応力テンソル成分を算出した。 SIRENによる占有関数 KNN補間は物体外の点に対しても非ゼロの応力値を割り当ててしまう。そのため、物体外の応力値を明示的にゼロに設定する占有関数が必要となる。我々はまず、与えられた表面メッシュから符号付き距離関数(SDF)をモデル化するためにSIRENネットワーク [Sitzmann et al. 2020] を訓練した。その後、このSDFを閾値処理して占有関数を得る(SDFの非負値を1、正の値を0とする)。全ての物体に対して隠れ層3層・各256ニューロンのSIRENを用いた。この占有関数は (1) レンダリング段階で応力場をマスクするため、(2) 再構成段階で占有率の低い領域を除外してサンプリングを高速化するために使用した。評価や実装の容易さからSDFを選択したが、今後の課題として一般化ワインディング数 [Jacobson et al. 2013] など他の体積表現の検討を残している。 3D光弾性のレンダリング 上記の手順で任意の点での応力場を問い合わせる。我々は非線形順方向モデル(5.2節)を用いて多軸ポラリスコピー計測をレンダリングする。応力光学係数 (式(11))を変えることで光弾性縞の密度を調整できる。図2(c)はFemurに対するレンダリング結果であり、図2(a)に示す応力場に対応する。予想通り、縞は荷重点近傍で密になる。各物体について、多軸回転は方位・仰角軸ともに180度範囲を32角度でサンプリングし、レンダリングした。各物体のレンダリングにはNVIDIA A100 GPUで2〜4時間を要した。6.2 再構成の評価
方位・仰角ともに180度範囲で32×32のレンダリングを行い、定性的比較に用いた。再構成はNeST-general手法で行った。図9(a)には3種類の物体(Femur, Bracket, Cantilever)の形状と荷重条件を示す。青矢印は圧縮力、赤矢印は引張力とせん断力を表す。灰色面に接触している点は荷重適用中に固定された。 図9(b)では、NeSTで再構成した応力場からレンダリングしたポラリスコープ計測が、真値の応力場からレンダリングしたものと定性的に一致することを示す。図9(c)では、再構成された応力の主応力(最大固有値に対応する主応力の大きさと方向)を可視化している。我々は全テンソル成分にわたって絶対誤差を平均した百分率絶対誤差を算出し、再構成が真値に近いことを確認した。主応力の大きさから、Femurの接触部付近、Bracketの穴周辺、Cantileverの上下端で応力が増大していることが分かる。主応力方向は3D TSV可視化フレームワーク [Wang et al. 2022] を用いて応力線として描画し、応力が物体内部をどのように伝播しているかを示した。6.3 多軸回転角度の効果
トモグラフィでは回転角度(スキャン角度)が重要である。ここでは、多軸回転角度範囲 を変化させた。まず半球(180°×180°)を用い、徐々に視野を狭めた円錐に減少させる。円錐角度(各方向のスキャン範囲)を180°から90°(2倍サブサンプリング)、さらに45°(4倍サブサンプリング)に縮小した。図10に結果を示す。角度範囲が狭まると再構成の品質は大きく低下する。90°では多くの物体でおおむね妥当な再構成が得られるが、アーティファクトが生じ始める。4倍サブサンプリングでは品質は大きく劣化し、再構成応力場に歪みが見られる。特にBearingのような複雑な物体では歪みが著しい。これは従来のスカラーCTで知られる「ミッシングコーン問題」と同様の現象であり、観測されない角度が増えると性能が顕著に低下する。6.4 位相ラッピングの影響
Bearingを用いて位相ラッピングの増加効果を解析した。レンダリング段階で応力光学係数を0.1, 0.25, 0.5に変化させた。また、実際のセンサー雑音を模擬するため、平均0・標準偏差0.01のガウス雑音を加えた。図11の最上段には、真値からレンダリングした計測値と基底応力場のスライスを例示している。応力光学係数を大きくすると、再構成における位相ラッピングが増える。ある空間分解能において、係数値が一定以上になると縞が過密になり、解像できなくなって再構成精度が悪化する。7 実験と結果
7.1 取得セットアップ
我々の多軸ポラリスコープ取得システムを図12に示す。照明側には、LEDライトパネル、拡散板、直線偏光子(LP1)、1/4波長板(QWP1)を備えている。カメラ側には、別の1/4波長板(QWP2)、バンドパスフィルタ、DSLRレンズ、スナップショット偏光センサ(LP2の格子を内蔵)がある。LP1とQWP1は手動で回転可能であり、QWP2はモータステージで回転させる。ポラリスコープ全体は一本のロッド上に直線的に配置されている。構成要素の一覧は補足資料に示す。 4.3節で説明したように、方位角(ρ2)と仰角(ρ1)の2軸回転によってポラリスコープ測定が必要となる。方位角はモータ回転ステージで物体を回転させ、仰角はポラリスコープ全体を第2のモータステージで回転させる。これはシステムの設置面積を抑え、回転ステージによる試料の遮蔽を避けるためである。 各仰角・方位角回転ごとに、QWP1とQWP2の向きを変えて4種類の生データを取得する。各生データにはLP2の4方向が含まれるため、合計で16測定 を得る。これらは基礎的パラメータ の非線形表現であり(式(21))、解析形は補足資料に記載している。測定は、以下の6つの式に定数係数やオフセットを加えた形で表せる: ただし 。7.2 テスト試料
試料の製作 カスタム試料は2液性エポキシ樹脂を用い、シリコン型で成形した。単純形状は市販の型を利用し、複雑形状(文字を含む試料や厳密な寸法の試料)は3Dプリント部品を鋳型にし、その周囲に液体シリコンを流し込んで型を作成した。 残留応力を持つ試料 2種類を使用した。1つ目は家庭用透明プラスチック(テープディスペンサーや透明プラスチック箱など)。射出成形に伴う残留応力のため、複屈折が強いものを選んだ。2つ目は樹脂試料で、鋳造後に24時間以上圧縮力を加えた。使用した樹脂の特性により、力を取り除いた後も残留応力を保持した。この試料は取り扱いやすく、広い方位角・仰角範囲での計測を可能にした。 外部応力を加えた試料 十分な荷重を与えるため、カスタム3Dプリント製の治具を作製し、試料に圧縮力を加えた。この治具はXY平面内で応力方向を変えられるよう設計され、またZ方向に試料を2つ連続配置できるようになっている(図12)。各試料は独立して固定・解除可能であり、前側単体、2試料同時、後側単体と順に撮影できる。ねじ締めでねじりが加わらないよう、各ネジにはボール&ソケット式ナットを使用した。7.3 取得条件
残留応力試料の場合:方位25 × 仰角16 = 400視点で16枚ずつ取得した(方位範囲180°、仰角範囲90°)。このうち320視点を学習、80視点をテストに使用。 外部応力試料の場合:治具による遮蔽で方位範囲が狭まり、方位20 × 仰角16 = 320視点(方位範囲140°、仰角範囲90°)で撮影した。1試料あたり撮影に約3時間を要した。7.4 定性的結果
図14に、荷重下の実試料に対してNeSTが応力分布を再構成する性能を示す。 対象は3種類:(1)両面近傍に圧縮荷重を加えた円柱、(2)z方向に部分的に荷重を与えた三角柱(せん断+圧縮)、(3)斜め方向から単一の圧縮力を加えた角孔付き円柱。 いずれも厚み方向に沿って応力分布が変化する。NeSTにより再構成された応力場からレンダリングしたポラリスコープ測定は入力計測と一致した(図14(b))。再構成テンソルから主応力を算出し、厚み方向スライスを描画した(図14(c))。結果として、NeSTは荷重点ごとの応力場を識別し、各荷重点近傍で主応力が強いことが確認できた。7.5 NeSTの応用
仮想スライシング NeSTは3D物体を仮想的にスライスし、内部応力を光弾性縞として可視化できる。図15に例を示す。2つの物体を重ねると縞が干渉して観察が難しいが、NeSTはそれぞれの成分を分離できた。例として、圧縮を加えた正方柱と六角柱を同時に撮影し、それぞれの縞を抽出した。さらに、文字をかたどった試料を用いた複雑な例でも有効であった。 新規視点での応力可視化 NeSTは物体内部の3D応力テンソル分布を新しい視点から可視化できる。例として、透明テープディスペンサー(図16(a))は残留応力のため縞を示す。多軸ポラリスコープ測定からニューラル応力場を推定し(図16(b))、高応力集中部位を明らかにした。その後、訓練に使っていない回転角度で順方向モデルによりレンダリングしたところ(図16(c))、実測と定性的に一致した。したがってNeSTは、未観測の視点から縞をレンダリングし、対話的に応力分布を観察することを可能にする。8 議論と結論
本論文では、3D光弾性に対する微分可能な非線形順方向モデルを導入し、それをニューラル応力テンソルトモグラフィ手法(NeST)に統合した。必要な計測を行うために新しい多軸ポラリスコープセットアップを開発し、NeSTの有効性をシミュレーションにおける複雑形状および実験における単純形状で実証した。 シミュレーションと実験の間にある複雑さのギャップを埋める上で、主要な課題は物体表面での屈折および反射の処理である。この問題に対しては、以下の2つの基本的アプローチが考えられるが、それぞれに課題がある。- 屈折率整合 表面反射と屈折に対するハードウェア的解決策は、試料を同じ屈折率を持つ液体中に浸漬することである [Trifonov et al. 2006]。このアプローチの主な課題は、液体容器の導入によって多軸ポラリスコープの構成が大幅に複雑化する点である。また、試料自身の複屈折のために屈折率整合はあくまで近似にとどまる。ただし、この方法は反射や屈折をほぼ無視できるレベルに低減する可能性がある。
- 境界面をフレネル反射・屈折として明示的にモデル化 別の方法としては、応力解析前に物体を3Dスキャンし、境界面との光線交点を明示的に計算してフレネル則を適用することである。形状と応力場の同時推定を試みることすら可能かもしれない。この方法はハードウェアの変更を必要としないが、順方向モデルが大幅に複雑化する。光線は各界面で反射・屈折に分岐し、さらに全反射も加わるためである。





