強化学習を用いた溶接残留応力低減のための溶接順序最適化システムの開発 Development of a Welding Sequence Optimization System for Reducing Residual Stress in Welding Using Reinforcement Learning 大阪府立大学 里 明起照 AkinobuSATO Student-member 大阪府立大学 橋詰 光 HikaruHASHIZUME Non-Menber 大阪府立大学 加藤 拓也 TakuyaKATO Student-Menber 大阪府立大学 生島 一樹 KazukiIKUSHIMA Member 大阪府立大学 柴原 正和 MasakazuSHIBAHARA Member Currently, various welding is performed in the process of manufacturing all kinds of structures such as ships and bridges, and metal 3Dprinters are attracting attention in recent years. However, there are several problems in these manufacturing method. Residual stress occurs inside the products due to thermal processing. It is thought that defects such as cracks during manufacturing, deformation and fatigue fracture are caused by the tensile stress on the surface. Therefore, it is necessary to optimize the construction method as welding orders and to reduce the residual stress on the product surface. However, it is impossible to analyze all welding sequences of multilayer welding because of physical and temporal constraints. On the other hand, research on artificial intelligence has developed recently, and AI which exceeds human ability has appeared. In this research, we aim to construct a system that automatically obtains the optimum the welding sequence in which the residual stress on the product surface decreases by using AI for searching the welding sequence. In this research, we study the learning method for optimizing of the weld sequence based on reinforcement learning and show the possibility of applying AI to optimizing of the weld sequence. Keywords: Redidual Stress，FEM，Reinforecement Learning １．緒言 現在，船舶，橋梁などのあらゆる構造物の製造過程に おいて溶接が行われており，近年では複雑な形状を比較 的容易に製造するのに金属3D プリンタが注目されている。金属3D プリンタは発電機のタービンなどの試作や模型実験用のモデル製作，また巨大金属3D プリンタによる航空，造船業の部品製造などに利用されている。 しかしこれらの製造方法には幾つかの問題も存在している。これらの製造工程では熱加工による残留応力が製 品内部に発生する。これによる表面の引っ張り方向の残 留応力による製造時の割れ，疲労破壊などの欠陥が生じ ると考えられている。また残留応力により歪みが発生 し，変形による精度の悪化が生じる。そこで施工方法を 最適化させ，製品表面の残留応力を低減させることが必 連絡先:里 明起照 〒599-8583 大阪府堺市中区学園町 1-1、工学研究科航空宇宙海洋系専攻 海洋システム工学分野 E-mail: a_sato@marine.osakafu-u.ac.jp 要である。 溶接，造形中の変形を予測する手法として有限要素法(Finite Element Method : FEM)に基づく熱弾塑性解析を用いる。熱弾塑性解析は，複雑形状の造形中の金属の溶 融・凝固に伴う変形や応力の挙動を詳細に予測できるこ とから，構造物の多数の溶接や3D プリンタによる製品の製造工程における問題解決に対しても非常に有効な手 段であると考えられる。しかし多層溶接や3D プリンタの溶接において全ての条件について解析することは，メ モリ消費量および計算時間の制約によって現実的に困難 である。 一方近年人工知能(Artifical Interigence：AI)に関する研究が発展しており，ヒトの作業の変わりにAI を利用しシステムを自動化，高効率化する未来が期待される。 そこで本研究ではI 開先多層溶接の入熱順序の探索にAI を用いることで，製品表面の残留応力が低下する最適な順序を自動的に得るシステムを構築することを目的とする。 Define all the weld passes using Q-function Environment ２．強化学習を用いた入熱順序 Fig. 1 Analysis flow of the proposed method. 決定システム り，試行錯誤か方法である。強システムでは の選択についての) 成されている。Fig. 2 Selecting the next pass. 概要 機械学習には強化学習と言う方法があら「価値が最大となる行動」を学習する化学習では学習の対象となる「環境」(本FEM 解析のモデル)と，(次の入熱パス行動や学習を行う「エージェント」で構 強化学習を用いた本システムの概略図をFig. 1 に示す。システムは以下のように3 つのセクションに分かれている。 現在の環境の状況から次の行動の選択 環境の変化の評価 システムの学習 強化学習のエージェントは環境状態s から次の行動a を経た時の評価値q(s,a)を持っている。(1)ではq(s,a)が高 次に入熱列の候補a_j(j=1, 2,..,5)それぞれの評価値q(s_i,a_j)をQ 関数から参照し，この評価値にバイアスを掛けた値が最大となる入熱列を次の入熱列a として選択する。このバイアスは実行回数が少ない入熱候補に対し て値が大きくなる性質があり，その行動が選択されやす くなる。 ????????????????????= ????????????(??????(????, ??) ? (??+ ????????? )))(1) い行動を選択しその工程を繰り返すことにより，入熱開 ?? ????+ ????, ??) 始から終了までの順序を決定する。(2)では残留の最終状態から報酬reward(s,a)として評価し，(3)で選択した行動の評価値q(s,a)を，報酬reward(s,a)を用いて更新する。またそれぞれの行動の評価値q(s,a)の集合をQ 関数と言い今回はテンソルで保持しているが，学習対象が複雑になるとニューラルネットワークでQ 関数を近似する場合もある以下にI 開先多層溶接を例にして各セクションを説明する。 Ｑ関数による入熱順序の決定 本システムでは入熱順序を1 パスずつ順に選択することを繰り返すことにより，入熱開始から終了までの順序 を決定する。次の入熱パスの選択の概略図をFig. 2 に示す。現在の入熱状況s_i，各列の入熱回数と最終入熱列 (Fig. 2 では入熱回数[3, 1, 1, 2, 2]，最終入熱列:4)から次に入熱する次に入熱する列を決定する。 ???? α :係数 N(si) :状態siになった回数 N(si, aj) :状態siから行動ajを経た回数 理想化陽解放FEM による解析と残留応力の評価 前の節で選択した入熱順序を元に理想化陽解法FEM でモデルの残留応力分布の解析を行う。残留応力は要素 ごとにテンソルとして格納されているため，このまま残 留応力を評価することは難しい。そこで今回は表裏面そ れぞれの方向の引っ張り応力に対して二乗和平均と各方 向の応力の最大値の線形和を残留応力分布の評価値とし てスカラー化する。さらに残留応力の評価値から強化学 習に返す報酬reward を決定する。 ??????????????????? ?? = ?????????????????? ? ??????2) ) Fig. 3 Mesh division for FEM. Table. 1 Heat input condition. (a) Usual order (b) AI Fig. 4 Welding order. ?????????????????????????????????? ?? = ∑ ??????????????????? ?? ?? (3) ????????????????????= ∑ ????? ????????????????????+ ∑ ????? ?????????? (4 ??－ ????????????????????????????????=?? (?? ??? ????????????????(5) システムの学習 システムの学習ではQ 関数の更新を行う。入熱順序の選択時に Q 関数から参照した全ての評価値q(s, a)に対して，残留応力の評価で決定した報酬を用いて更新する。こ れまでの学習の中で状態s から行動 a を経た時に得られた報酬reward(s, a)の平均が更新後の評価値q(s, a)となる。 ???? ???? ???? ?? =? ???? ?? ?????? ????+ ?????? + ???? ?? ???????????????? ??(6) + ?? ???? ????= ???? ????+ ??7) 3．I 開先多層溶接の入熱順序の学習 解析モデルと条件 強化学習における環境であるFEM 解析においてQ 関数から選択された入熱順序を元にモデルの解析を行い， 得られた結果を元に，エージェントの学習(Q 関数の更新)をさせる。本章で用いるモデルをFig. 3 に示す。鋼板の寸法は幅60mm，縦60mm，高さ12mm である。また溶接部のメッシュサイズは幅2mm，縦3mm，高さ2mm となっており，モデルの節点数は2960，要素数は3579 とした。材料はSM490 である。拘束方法は剛体拘束とした。溶接のパス数は幅方向に4pass,高さ方向に5pass の計20pass としており，1pass の入熱条件は入熱量2250J，速度4.5mm/sec，熱効率0.80 である。尚底1 層目の入熱が完了した状態から，FEM 解析を行いそれ以降の順序を学習の対象とした。 学習結果 入熱順序 学習で得られた得られたビード部の入熱順序をFig. 4 に示す。順序としては先に中央ビードを形成した後両端 列を交互に入熱する結果が得られた。この結果より裏面 の応力を下げるために最後に縦に入熱する傾向が確認で きた。一般的な入熱工程では入熱部の拘束が大きくなる 終盤に上面への入熱が集中し，それらの冷却時の収縮が 上面中央部に起きてしまう。これにより角変形が大きく なり裏面の残留応力が高くなってしまう。そこで終盤に 縦に入熱することにより，冷却時の収縮が上面中央部に 集中するのを防いだと考えられる。 学習した入熱順序における残留応力分布 それぞれの学習で得た溶接順序を元に熱弾塑性FEM 解析を行った結果をFig. 5，6 に示す。モデル上面の溶接線と水平方向の応力に関して，従来の方法，学習結果ともに最終パス部が最も応力値が高くなった。しかし一層ずつ順番に溶接した従来の方法ではビード部全体に引っ張りの応力が確認された。一方学習結果ではビード部の引っ張り応力σ??の範囲がわずかではあるが縮小し，最終パス部の応力値も低下した。この応力の低下は加工硬化が原因と考えられる。また，Fig.7，8 に残留応力の二乗和平均と最大値を示す。AI による入熱順序の残留応力の二乗和平均は従来の入熱順序よりも低下していることがわかる。残留応力の最大値も同様に低下していることがわかる。さらにモデル裏面の残留応力において，学習結果で応力のσ???下が確認された。裏面の残留応力σyが低下した結果については同時に角変形が小さくなることが確認された。 550 yy -400 [MPa] 550 -400 [MPa] Usual order(b)AI Fig. 5 Residual stress in X on the upper surface. y (a)Usual order(b)AI Fig. 6 Residual stress in Y on the back. 600 550 Residual stress [MPa] 500 450 400 350 300 250 200 Usual order AI ???? Usual order AI ????3.0 2.5 Residual stress [?????? 2.0 1.5 1.0 0.5 0.0 Usual order AI ???? Usual order AI ??? Fig. 7 Mean square of stress. 4．結言 本研究では，AI を用いて入熱順序の最適化について検討した。I 開先多層溶接において入熱順序を学習させたところ，両端列を交互に入熱する結果を得た。この結果をもとに理想化陽解法FEM にて入熱をしていくと，残留応力の二乗和平均，最大値ともに低下することが確認され，さらに裏面残留応力????が大きく低下することが確認された。 これにより残留応力低減のための溶接入熱順序決定に 強化学習が有効であることが示唆された。 Fig. 8 Maximum residual stress. 参考文献 松宮大樹，柴原正和，生島一樹，河原充南野寿造: 金属3D プリンタを用いた積層造形時の熱変形・応力挙動の解析 David Silver*, Julian Schrittwieser*, Karen Simonyan*, Ioannis Antonoglou, Aja Huang, Arthur, Guez, Thomas Hubert, Lucas Baker, Matthew Lai, Adrian Bolton, Yutian Chen, Timothy, Lillicrap, Fan Hui, Laurent Sifre, George van den Driessche, Thore Graepel, Demis Hassabis： Mastering the Game of Go without Human Knowledge 毛利良介，江端末春：高速回転アーク溶接方による 片面I 型突合わせ溶接施工法の開発

検索

• [ニュース] ボリューム検索機能を追加しました（2019/03/27 ）
• [ニュース] 著者検索機能を追加しました（2019/03/07 ）
• [ニュース] 解説記事を掲載しました。（2019/03/06 ）
• [ニュース] 当サイトを公開しました。（2019/03/06 ）