特集記事「AIと保全」（2） 深層学習によるき裂進展評価～計算力学サロゲートモデルの構築～ 近畿大学 理工学部 機械工学科
公開日:
特集記事「AIと保全」（2）
深層学習によるき裂進展評価～計算力学サロゲートモデルの構築～
近畿大学 理工学部 機械工学科
和田 義孝 Wada YOSHITAKA
１．はじめに
ILSVRC2012におけるディープラーニング（深層学習） [1]の有効性が画像認識において示されその可能性に多くの人々が期待する状況になって久しい。しかし、計算力学や CAEといった分野こそ、ディープラーニングとの親和性が高いと期待するもののその応用方法・利用方法については先行研究事例が少ない。一方で、もともと多くのデータを必要とする分野（材料設計、流体工学等）においては特徴量を抽出する多次元非線形マッピングの技術としてディープラーニングの利用例が複数報告されている [2]。本稿ではサロゲートモデル（代替モデル）への期待と現状、そして最も重要な予測の質を高めるための重要な視点を示す。具体例として、重合メッシュ法によるき裂進展データを大量に生成し、何をどのように学習するのがサロゲートモデルの構築に有効なのかを裂進展挙動の予測を通して考察する。
２．ディープラーニングの現状
画像認識に代表される文字認識、人認識、顔認識等のピクセル単位で学習するディープラーニング（ =大規模入力、多階層のニューラルネットワーク）の成功例
1)から大規模な研究開発および IT企業および自動車企業による投資が始まった。これらの動きに呼応する形で、例えば NVIDIAによる GPGPU開発のディープラーニング向けのライブラリの開発 [3]、各研究機関および大学によるディープラーニング向けの API（Theano[4], TensorFlow[5]またはラッパーの Keras[6]など）の開発などが加速した。これらの動向に対して CAEに対する AIおよびディープラーニングへの適用の期待も高まっている [7][8]。しかし、画像解析による応用はその事例は多数見受けられるが、一方で物理現象、工学設計における応用方法が全く示されていない現状がある。複雑な問題、多入力・他出力のディープニューラルネットワークの学習方法の進歩に大きく貢献することが現在進行している。一方で、トヨタ自動車は、自動運転実現のためにはあと 142億万㎞の走行距離が必要だという試算を示している [9]。この数値は、技術のある運転手一万人が一人あたり 1万㎞以上の走行距離が必要だと示唆している。学習は人間の経験と相対するところがある。例えば、事故、回避などのアクシデント事例は特に学習が必要であるが、そういったケースは全体のデータに対する学習ケース（時間）は少ない。詳細は後述（5. き裂進展サロゲートモデルにて解説）するが、荷重方向に対して角度を有するき裂は進展の直後少ない時間で進展方向を変える。つまり、学習するためのデータ数が少なくなる。このことは、多くの工学応用に関して常に問題となる。また、多くの工学問題ではどこの場所のどのような物理量を学習させればよいのかの知見が全くないことが大きな課題であると指摘できる。筆者らはこれまでの AI適用の動向および研究動向を鑑みて次のような仮説によりディープラーニングによる機械学習の適用範囲が拡大するのではないかと考えた。仮説とは次のとおりである。
「学習対象とする現象およびニューラルネットワークの構成は密接に関係しており、再現したい物理現象と計算手法によりニューラルネットワークは設計可能である」この仮説は図 1に示すように大きく分けて四つの分類に分けられる。ニューラルネットワークの入力層のノード数と出力層のノード数が再現したい物理現象をどのように計算させるかを決定する重要なパラメータとなる。
A.入力多 -出力多
B.入力多 -出力少（中）
C.入力少（中）-出力多
D.入力少 -出力少
画像の分類問題は、 B.に分類され画像そのものを学
特集記事「AIと保全」（2）「深層学習によるき裂進展評価～計算力学サロゲートモデルの構築～」
習し分類の確率を求める。本稿では、 C.に分類される研究対象である。入力はき裂の位置ベクトル、出力はき裂の進展方向と予測されるサイクル数である。 A.は画像から画像を生成するニューラルネットワークで、流体の速度分布から次の速度分布を予測するには A.に相当する多入力、多出力のニューラルネットワークが必要である。 C.は微分方程式の解を直接学習するアプローチとして分類できる。学習したニューラルネットワークは、差分法におけるスキームのように近傍の情報から現在の格子上の物理量を更新する。
図 1 ニューラルネットワークの入力・出力層のノード数と対応するアプリケーション関係
３．サロゲートモデルへの期待と現状
CAEを代替するサロゲートモデルは、 AI-driven CAE[10] や MLAE(Machine learning Aided Engineering)などと呼ぶのが適切であると思われる。しかし、まだ市民権を得たわけではない近い将来標準的な名称が決まるものと思われる。サロゲートモデルも過渡期における一般名称である。 CAEを代替することを念頭に置くと、数値を予測するためエンジニアはかなりの精度（ CAEと遜色ない）を要求している。この精度への要求が先行している分類問題と大きな違いである。また、分類問題は文字や写真の認識で大きな成功を収めているが膨大なデータにより認識率が高まっている側面もある。CAEによって機械学習のための学習データを作ることができると期待はできる。しかし、非線形の時間発展問題を数千から数万ケースも失敗しない解析の実施は現状では不可能である。つまり、学習データを用意するという点においても熟慮が必要である。多くの先行研究例では分類に特化しているため、サロゲートモデルのための予測精度が高い多次元回帰問題に適したネットワークはどのようなものなのか不明である。
ないと理解されているがよく見ると分類問題とサロゲートモデルの構築では、データの量、要求精度、データそのものの質などが根本的に異なるため適したニューラルネットワークや学習アルゴリズムなどを見出すためのさらなる調査・研究が必要である。
４．CAEにおけるサロゲートモデル
工学応用への問題を考えると、何を入力と出力にするのか。学習データはどのように準備するのかが最大の問題となる。物理現象は空間、物性、物理量（変位、速度、ひずみ、応力、温度等）が入力または出力されることになる。物理量を学習（測定）する位置の取扱いを一般化しなければ座標系依存の学習となる。そこから法則を見出すことは困難である。例えば、同じ目的の部品においてもそのサイズが 10倍も異なる場合サイズの違いをどのように扱うのかを定める必要がある。形状が決まっているのであれば、ノーマライズを行うことが入力のパラメータを減じることになる。ただし、ノーマライズを行った係数は学習対象となる。また荷重に関しても同様で特に弾性問題であれば単位力を想定して学習させる。
サロゲートモデルは代替モデルとして物理現象を模擬するモデルである。したがって、微分方程式を完全に代替するものではない。これまでパラメトリックに問題を解いていた場合、変数を可能な限り限定することにより現象の傾向を把握していた。例えば、ニューラルネットワークを使ったサロゲートモデルであれば多数の変数を用いて学習し、より自由度の高いサロゲートモデルの構築が可能となる。しかし、例えば非線形問題においては解析結果の取得に時間が必要であることと解析精度の低さが問題である。繰返しの応力ひずみ関係はヒステリシスループを示し 1つのひずみ（変位）に対して複数の応力
（荷重）状態を示す。確実に学習できるとすれば降伏局面や背応力自体を学習させることである。しかし、実際の降伏現象は等方硬化、移動硬化の混合で生じているうえに降伏局面が連続であるとは限らない。ディープラーニングによる学習はそういったモデル化が困難な現象に対して学習できる可能性がある。したがって、学習結果の質を向上させる具体的な考え方を提示することが重要な活動である。有限要素法は質の保証のための活動とその適用範囲の拡大は常に連動して進んできた。機械学習とのある程度の比較が可能と思われる。この比較を表 1に示す。
シミュレーションでは支配方程式およびその離散化手
一見、機械学習という枠組みでとらえれば大きな差が法により物理現象そのものと精度が大きく既定される。
しかし、機械学習は多数のデータからルールを再構成するためデータそのものが対象とする現象を含んでいることが保証されなければならない。支配方程式の理解が必要かどうかという観点ではデータを準備するために必要といえる。連立一次方程式の解法も長い歴史がある。機械学習においては学習方法そのものと等価であると見なせる。機械学習では反復的に学習することが前提となる。学習結果の良否はデータにも依存するがこの学習アルゴリズムは最も重要な要因である。最後の重要要因は、ニューラルネットワークの構成方法である。これは表現できる関数の次数に直接関連するため、数値シミュレーションのメッシュ分割と等価であると認識できる。数値シミュレーションでは誤差評価手法により最適なメッシュを得る方法が確立されている。機械学習においては試行錯誤によりニューラルネットワークの構成を決める
疲労き裂進展解析は、弾性計算（ポアソン方程式）、応力拡大係数、等価応力拡大係数、き裂進展速度、き裂進展方向を微小ステップで解析を行いその履歴（積分）として最終的なき裂進展形状が計算される。図 2に等価応力拡大係数、き裂進展速度およびき裂進展方向を決定する経験則による式を示す [11-13]。ディープラーニングに
必要がある。
図2 き裂進展則にかかわる法則とパラメータ [11][12]
表 1 数値シミュレーションと機械学習の技術要素の比較 :予測のよりこれら式を陰的に再構成されるかどうかが工学分野質向上へ向けた比較
における応用のための提示すべき具体例である。
学習データは重合メッシュ法 (以下 s-FEM)によるき裂進展解析 [13]を用い約 5,000におよぶデータを生成した。データをもとに、ノイズ混入、ノード停止などのテクニックを用いて総学習数 12万回を行った。実用的な観点からは 12万回の学習数は極めて少ない。図 3にき裂進展速度の学習結果を示す。またその具体的な予測された数値を表 1に示す。s-FEMによるき裂進展解析と同様にシミュレーションによるき裂進展速度の予測は 1サイクル当たりの進展量ではない。理由は、 1サイクル当たりの進展量は 10-12のオーダーのためそのサイズではメッシュ生成ができない。したがって、最小メッシュサ
これら比較を通じて予測の質向上のための具体的方法について今後議論を進めることが急務である。
５．き裂進展サロゲートモデル
本稿では、疲労き裂進展を具体事例としてディープラーニング技術を適用しき裂進展挙動が予測できるかどうかを検証した。三つのフェーズを想定し、フェーズ 1は応力拡大係数から進展方向ベクトルおよび進展速度を学習、フェーズ 2はき裂先端近傍応力、変位から進展方向ベクトルおよび進展速度を学習、フェーズ 3は初期き裂中心位置を原点としき裂先端位置およびき裂が向いている方向ベクトルから進展方向ベクトルおよび進展速度を学習、という三つの場合に分けた。実用上はき裂先端の位置および進展方向のベクトルから学習できることが望ましい。その理由は、き裂を画像的に扱うことにより直接その余寿命やき裂形状の予測が可能になるためである。
図3 き裂進展速度の予測結果と進展ステップ数
特集記事「AIと保全」（2）「深層学習によるき裂進展評価～計算力学サロゲートモデルの構築～」
図 4機械学習によるき裂進展予測と重合メッシュ法によるき裂進展（黒 :初期き裂、灰破線 :重合メッシュ法、濃灰 :サロゲートモデルによる予測）
図 5 データの水増し（data augmentation）を行った高精度予測値 :初期き裂角度 45°、初期き裂角度は学習データから除外ししているため未学習データの予測、全体進展結果
イズあたりに何サイクル必要か計算することで、き裂進展数値シミュレーションを連続的に行う。図 4から、き裂進展開始直後では大きな差異が左右のき裂先端部位でみられる。しかし、き裂進展が進むにつれ s-FEMの結果と一致する。荷重方向に対して斜めに存在するき裂が繰返し荷重を受けると急激にその向きを変え、その後はほぼ水平に進展する。つまり、き裂の向きを変える学習が少ない。進展方向を変える学習データ数は全体の学習データ数のわずか 4%程度にしか過ぎない。
この問題を解消した新たな学習データセットを重合メッシュ法により生成した。データの概要は、初期き裂の角度を 2.5°きざみで 0°から 87.5°、き裂進展直後 5ステップまでのデータを 3倍から 5倍データにノイズを与えて水増し（ data augmentation）を行った。このデータに対して 50万回の学習結果を図 5に示す。ほぼ完全に一致しており全体にわたる累積の誤差は 0.5%未満であった。
６．おわりに
ディープラーニングおよびそれらを実用化するための技術集積により実用化が進行している。学習方法も様々
(a) き裂左側先端部 :進展直後の様子、破線が正解、太線が予測値、完全に一致
(b) き裂右側先端部 :進展直後の様子、破線が正解、太線が予測値、完全に一致
図 6 データの水増し（data augmentation）を行った高精度予測値 :左右き裂先端部分の拡大図
な分野の知見を適用し、さらにここで示した分類、比較、データの質の考え方などによりより効果的・効率的なサロゲートモデルの構築が可能だと考えられる。一方で現象の分析と効果的な学習パラメータ選定などより多くの事例および知見の獲得が急務である。
参考文献
［1］A. Krizhevsky, et al., ImageNet Classification with Deep Convolutional, Advances in Neural Information Processing Systems 25 (NIPS 2012), 2012
［2］日本機械学会第 30回計算力学講演会講演論文集 , 大阪 , 2017
［3］井﨑 , NVIDIAのディープラーニング戦略と最新情報 , GPU Technology Conference, Tokyo, 2016
［4］Theano: Python library that allows you to define, optimize, and evaluate mathematical expressions involving multi-dimensional arrays, http://www. deeplearning.net/software/theano/
［5］TensorFlow: End-to-end open source platform for machine learning, https://www.tensor.ow.org/
［6］Keras: Pythonの深層学習ライブラリ , https://keras.io/ ja/
［7］和田 , CAEにおけるディープラーニング活用のための一考察（ディープラーニングによるき裂進展挙動予測）, 第 48回関西 CAE懇話会 , 京都 , 2016
［8］和田 , CAEにおけるディープラーニング活用 ~重合メッシュ法によるき裂進展挙動学習 ~, ADVENTUREClusterユーザー会 2017, Tokyo, 2017
［9］トヨタ社長「142億キロの試験走行」で自動運転実現を宣言 , https://forbesjapan.com/articles/detail/13813, 2016
［10］和田 , ディープラーニングによる工学問題へのアプローチ（偏微分方程式の学習からき裂進展挙動の予測まで）,Prometech Simulation Conference 2018, 2018
［11］H. A. Richard, M. Fulland, M. Sander S. N., Fatigue Fract. Eng. Mater Struct., Vol. 28, pp. 3-12, 2005
［12］P. C. Paris and F. Erdogan, J. bas. Eng. Mater. Trans. ASME, Ser. D, 85, pp. 528-533, 1963
［13］菊池 ,和田ら , 重合メッシュ法を用いた疲労き裂進展シミュレーション (第 2報二つの段違いき裂の相互作用の検討）, 機論 A, 74巻 ,745, 2008
（2019年 4月●日）
著者紹介
著者：和田 義孝所属：近畿大学理工学部機械工学科専門分野：計算力学、破壊力学、機械
学習の力学問題への応用