複雑システムの安全設計と事故モデルについて
公開日:
カテゴリ: 第13回
1.はじめに
最近、産業界で「Safety2.0」なる考え方が議論されている[1]。これは、人工知能、ビッグデータ、IoT(Internet of Things)といった情報化社会の技術潮流に沿って、第4次 産業革命(Industry4.0)や、自動運転のような高度な製品・制御システムが提供される時代になり、旧来の安全設計 の考え方ではない新しい安全設計が必要とされてきたた めといえる。また、3.11福島事故の頃から、Safety-II(レ ジリエンス工学)という考え方が広まっている[2]。これは、 システムの破局的な事故を防ぐために、人間の過誤を防 ぐという旧来の考え方ではなく、人間の柔軟な問題解決能力を利用することも必要ということから注目される考 え方でもある。 このような安全設計に関する時代の変化を明快に示し たのがN.G. Levesonにより与えられたFig.1のような背景 である[3,4]。近年の製品・制御システムは、そのほとんど が組込み計算機のソフトウェアにより制御されており、 多くの場合、インターネットとも繋がった複雑なシステム構成となっている。ソフトウェアにより知的で複雑な制御が実装可能になる。運転員からの指示や運転員への干渉操作が複雑に絡み合っている点も近年のシステムの 特徴である。このような複雑システムの進展に対して、 それに対応する安全設計では、図にあるように50年以上前に開発されたFTA・ETA、FMEA、HAZOPといった 手法が依然として使われている。 Fig.1 Background of current safety design tools 筆者は、組込みシステム・情報システム分野での安全 設計や障害診断といった分野での技術動向調査に関わっているが[5,6]、計算機性能の指数的な増大に伴って、システムの複雑さや開発速度も指数的に早まっておりそこでの安全設計の欠陥や不具合が社会に与える影響の大きさは、日々のニュースでも実感しているところである。 原子力プラントも巨大な組込みシステムということがで
・AI き、複雑システムの安全設計という共通の視点で安全設 技術、ビッグデータ解析技術の進展で、機械の知 計を考察することは意味があると考える。 能化(ソフトウェアによる制御)がより進む。人間の 冒頭述べた「Safety2.0」の考え方を向殿[1]に沿って要約 指示に従わないことが出てくる。 すると Fig.2 のようになる。機械技術で安全を確保する ・自動化の進展で、人間の能力が低下し、想定外の危機 Safety1.0 の時代から、人、モノ、環境が協調しながら安 対応能力が低下する 全を確保するSafety2.0 に移行し、止めない安全を達成す ・特別な訓練を受けてない人がシステムを使う(自動運 ることを目指している。「止める安全から止めない安全」 転、介護ロボットなど) というのは言葉としてはわかり易いが、これを実現する ・Industry4.0で、生産現場で究極の効率性が求められる ことはそう簡単なことではないし、一部の業界を除いて、 ・SecurityがIoT を通してSafetyに影響する 具体的な方策が提案されているわけではない。生産要求 ・ウォータフォールからアジャイル開発へ移行し、安全 と安全のトレードオフは永遠の課題でもある。しかしな 設計・信頼性管理の不安がでてくる。 がら、人と機械が日常の場で共存する時代を迎えた今、 ・オープン化・System of Systems。複数の独立企業によ このような安全の考え方を整理・考察してみることは意 る共同開発での意思疎通の問題や部品調達仕様の不 義がある。本稿ではそのきっかけとして、N.G.Levesonの 完全性の問題がでてくる。 提唱しているSTAMP/STPAというハザード分析法を紹介 ・PL 法による製造物責任だけでなく、マスコミなどを する。 通した社会への説明責任が強く問われる Safety 0.0 (人の注意力で安全を確保) 2.2 Safety2.0 の目標 Safety 1.0 (機械技術で安全を確保) ・人に危害が及ぶのを防ぐために、人を危険源から遠ざける(隔離の原則) 向殿[1]によると、safety2.0の達成目標として下記の4 ・人が危険源に近づく際に動作を止める(停止の原則) 項目が挙げられている。 Safety 2.0 (人、モノ、環境が協調しながら安全を確保) (1) 止めない安全/人とモノと環境を情報でつないで、 ・IoT、AI制御の時代で、止める安全から止めない安全へ それぞれが協調して高次元の安全を実現する取り組 Fig. 2 Transition of Safety Design み。例えば、熟練度が高い人の不安全行動では機械 2.複雑システムの安全設計とは の速度を落とす、また、熟練度が低い人では機械を 止めるといった、柔軟な安全制御機構。人と機械の 2.1 IoT 時代の環境変化 協業により、フレキシブルな生産、生産性の向上に 組込み計算機が小型化し、無線端末を通してインターネ 寄与できる。 ットとつながる IoT 時代を迎え、以下述べるような環境 (2) IoTによる安全(不安全)の見える化/人の体調や部 変化が起こっている。人、モノ、環境の相互作用がより 品の劣化状況を常時監視し、人に優しい経営や安全 緊密になること、インターネットを介して悪意のある攻 への的確な投資を行う。 撃が日常化している点で、セキュリティとセーフティの (3) 協調安全(コラボレーションフェールセーフ)/人や 境界がなくなってくること、安全性に関わるソフトウェ 環境に問題が発生した時、その情報に基づいて機械 アの開発体制もオープン化が進んでくることなど、安全 が自律的に人を安全側に誘導する 設計に関わる環境が大きく変わりつつあることを考慮す (4) セキュリティの課題/IoT による情報空間と物理空間 る必要があるが、これに対応できるハザード分析手法や の連結でセキュリティがセーフティに影響する。セ 安全設計手法として適したものがないというのが現実で キュリティとセーフティは、「完璧であることはあ あろう。また、マスコミやネットを介した批判に応える りえないという」共通点がある。「許容可能なリス という社会への説明責任がより大きくなっていることに ク」という機械安全の考え方の適用が必要。 も留意が必要であり、第三者による客観的な安全性の評 いずれも、今の時代にあった目標と言えるが、特段新し 価が重要にもなってくる。以下に、これらの環境変化を いものでもない。(1)止めない安全では、適応ユーザーイ まとめる。 ンターフェイスのような概念はこれまでに検討されてい ・人と機械の協調制御が日常化、さらに、IoT によりク るし、また、緩和制御という考え方で、非常停止をする ラウドとの連携が深まる まえに、警報レベルに近づくと、出力や速度を下げる緩 - 86 - 質、すなわち、「うまくいっている」理由を考えるという 和操作をする考え方も既に実用に供されている。今後、 このようなソフトウェアによる安全制御は、ますます高 ことである。この「うまくいっている」状態からのズレ 度化することが予想されるが、思わぬバグでトラブルが をパフォーマンス変動と称し、この変動がお互いに共鳴 起こり得ることは、近年のニュースに散見される。(2)の して大きな事故に至ることがあるという考え方である。 IoT による安全(不安全)の見える化も、米国では、 従って、このパフォーマンスの変動を監視し制御できれ Prognostic Health Monitoring(能動的状態監視)といっ ば大きな事故は防げる。このための方策として、ホルナ たシステムが原子力発電所に導入されつつある[7]。日本 ゲルは、排除、予防、防護、促進という考え方を挙げて でも、状態監視保全という考え方で回転機の挙動監視が いる。排除はハザードを発見して排除することを、予防 行われている。これが、IoTの普及で、より大規模かつ低 は安全装置の設置によるハザードの防護という意味で用 コストで実行されることが予想される。(3)協調安全では、 いている。防護は、事故を起こす原因より結果の緩和や かって、航空機の自動制御で、パイロットと機械の判断 回復手段と定義している。促進は、予防が有害なものを のどちらを優先させるかといった議論があった。原子力 防ぐという視点に対して、有用なものに焦点を当て、過 プラントでは、10 分ルールといった形で原子炉の緊急停 誤を防ぎより使いやすくするような改良設計などを行う 止の直後は、機械の判断を優先するということになって もので、能動(プロアクティブ)保全といえよう。 いる。人間と機械の判断の優先度の問題は、問題解決の 筆者なりに、これを再整理したものを以下に示す。防 状況に応じて変わるが、今後の製品・制御システムは、 護を、通常トラブルの緩和手段と、破局的事故の緩和手 人間との共存がますます親密になるため、状況依存の優 段に分け、さらに、選抜・訓練を追加した。 先度の問題は極めて重要になるが、同時に、難しい問題 (1) 排除/設計の前段階の要求仕様まで含めたハザード でもある。(4)のセキュリティの課題は、StuxNet による 分析、第三者V&V、本質安全策の検討、ソフトウェ イランの濃縮設備の破壊で注目された。遠心分離機の回 ア制御に関する形式手法による数学的証明など 転数情報が外部から改ざんされたわけであるが、これを (2) 予防/安全規格にのっとった多重化や冗長化 アナログメータにして本質安全を図るといった考え方も (3) 防護/深層防護と多様化(D3) STAMPのなかで提案されている[4]。現実的に実施可能かど (4) 促進/有用性の積極評価と能動(改良)保全(失敗 うかは別にして、セキュリティでも、機能安全規格で取 学から成功学へ)、安全が効率向上にも役立つ改善活 り入れられているSIL(Safety Integrity Level)といった 動、能動的状態監視(Prognostic Health Monitoring)、 考え方で、重要な情報を特定し、「誰から守るか」から「何 保全PDCAサイクル を守るか」「どの程度の完璧さで守るか」といった考え方 (5) 破局からの防護・レジリエンス/事故の緩和・回復 に移行することも大事である。 手段の提供、未予見外乱の兆候を認識する注意力と このように、Safety2.0では、新しいことを言っている 発想力(小さな改善活動(促進)は、小さな失敗は 訳ではなく、できることは、既に行われている。しかし、 防げるが、大きな失敗を防げるわけではないことに このような目標を明確にし、その標準的な達成方法をガ も留意が必要) イドラインのようなもので示しておかないと、安易に取 (6) 選抜・訓練/専門技術とメンタルスキル(注意力) り組むと大きな失敗にもなりうることに注意が必要であ の訓練[9]、安全文化の醸成 る。 これらの方策のなかで、実施可能なものはすでに実際 の現場に取り入れられている。一方で、(1)のハザード分 2.3 パフォーマンス変動の監視と制御 析などは、多様な環境下(例えば、定期検査時の作業、 複雑システムの安全に関して、前節で述べたような目 新人と熟練者の混じった作業現場など)で、旧来の FTA 標を達成するのは、従来の標準規格に基づく安全設計や、 や FMEA のような手法が使えるかというと、疑問が残る。 綿密な事前テストを行ったりするだけでは困難と考えら また、(6)の選抜・訓練においても、予想できるシナリオ れる。しかしながら、いくつかの先駆的な研究や提案が での対応訓練は十分に行われているが、想定をはずれた ある。ホルナゲルは、複雑システムの安全分析に、機能 シナリオをどこまで想定できるかといった発想力のテス 共鳴解析手法(FRAM)という考え方を提唱している[8]。 トのような訓練がなされているかは不明である。こうい 失敗の本質に焦点を当てるのではなく、日々の活動の本 った視点で役立つ可能性のある手法として、以下の節で、 - 87 - 新しいハザード分析法の紹介をする。 2.4 新しい事故モデル・STAMP 複雑システムに対応可能な事故分析法としてFRAMを 挙げたが、もうひとつの注目すべき事故モデルとして、 N.G.Levesonにより提唱されたSTAMP(System Theoretic Accident Model and Process)がある。いずれも、非線形複 雑システムを想定し、創発(Emergency)や共鳴(Resonance) といったフィードバックを含む動的なシステムの中で、 安全が保たれたり事故が顕在化したりするという考え方 を基礎においている。FRAM が正常時の挙動からの偏差 をどう調整して成功に導くかという視点に立ったモデル であるのに対して、STAMP はハザード(失敗)に至る非 安全な制御行動をどのように網羅的に発想できるかとい う視点に立っており、対極的なモデルにも見えるが、シ ステム内の要素の動的で非線形の相互作用によりハザー ドが発現するという本質的な考え方は同じであろう。た だし、成功に至るパスや失敗に至るパスを新たに見つけ るという発想力を喚起する手段としては異なり、具体例 による比較が待たれるところでもある。 ここでは、STAMP に付随するハザード分析手順である STPA(System Theoretic Process Analysis)を含めて、複雑 系のハザード分析にどのように用いてゆくかを簡単な事 例で説明する。 STAMP/STPAの詳細は、N.G.Levesonの教科書[4]ないし IPA(情報処理推進機構)で公開している解説書[7,8]を参照 していただきたいが、ここでは、その概略手順を述べる。 具体的手順は、次章の事例研究を参照されたい。 (1) アクシデント、ハザード、安全制約、ならびに、制 御構造図を定義する。ここで、ハザードはアクシデ ントに至る前の状態と定義され、安全制約は、ハザ ード状態を防ぐための制約条件である。制御構造図 は、対象プロセスの安全を保証するための制御アク ションを、制御器、操作器、フィードバック信号、 対象プロセスという抽象化した構造の中で定義する。 (2) 非安全なコントロールアクション(CA)の識別:STPA の特徴は、非安全CAを下記の4つのキーワードをも とに識別することである。 ・与えられないとハザード ・(不適切な状況で)与えられるとハザード ・早すぎ、遅すぎ、誤順序で与えられるとハザード ・早すぎる停止、長すぎる適用でハザード (3) 非安全なコントロールの原因(ハザード誘発要因/ 機器故障や操作 ミスによる「オー バーフローを防 ぐ! - 88 - ハザードに至るシナリオ)の特定、ならびに、その 回避策(下位のコンポーネントへの安全制約)の導 出。原因を考える参考として、Fig.3 に示すような、 ハザード誘発要因のガイドワードが与えられている。 Fig.3 Typical hazard causal factor 3.STAMP 事例研究 3.1 化学プラントシミュレータ[8] Fig.4 にSTAMP 事例研究の対象にした簡単な化学プラン トシミュレータの UI 画面を示す。二つのタンクがあり、 下のタンクの水をポンプで汲み上げ、さらに上のタンク の水位を一定に保つ制御器を持たせている。何らかの故 障で水位がアラームレベルを超えると、緊急排水弁を開 放してオーバーフローを防ぐ仕組みである。右下の赤丸 で示した部分で、各種の故障を模擬できるようになって いる。このシミュレータの特徴は、右上の赤丸で囲った ボタンで、システムの起動(注水操作)、緩和操作(水位 がアラートレベルを越えた際に数秒間だけ緊急排水弁を 自動ないし手動で開けてアラームでの緊急排水を回避す る)、緊急停止、通常停止という4 つの操作を運転員の指 示で行う点である。各種の故障のもとで、機械による自 動制御と運転員によるオーバーライド操作を模擬できる ようになっている。 なお、このシミュレータの詳細は、IPA/SEC のWeb サイ トで公開されている[8]。 Fig.4 Simple chemical plant simulator 3.2 分析結果[8] 緊急停止、緩和制御 などのコンピュータ 制御ロジック 運転員による監視・ 制御機能各種の故障 模擬機能 この化学プラントのアクシデントをタンク1からの溢 水として分析した結果を以下で説明する。ハザードは、 水位がアラームレベルを超えた状態であり、安全制約は、 水位がアラームを超えた危険な状態にならないこと、と なる。この制御構造図は、Fig.5 に示すように、運転員、 コントローラ、緊急排水弁が階層的に並んだものとなる。 ここで、コンピュータからプラントへの指示(コントロ ールアクション、CA)は、タンクへの注水と緊急排水に なる。さらに、運転員からのオーバーライド指示として、 緊急排水操作がある。この3通りのCA に対して、4つの タイプの非安全CA の影響を評価したのが、Fig.6 の表で ある。5通りの非安全CA(UCA)が抽出されていることがわ かる。 Fig.5 Control structure of chemical plant Fig. 6 Unsafe control action table and hazard prediction この5つの UCA のハザード誘発シナリオの分析結果の一 部を以下に紹介する。詳細は文献[8]を参照されたい。 (1) UCA2:コンピュータが給水弁が完全に閉まる前に指 示をやめる、または、ドレン弁が完全に開く前に指示 をやめる [Scenario 2-1] ・コンピュータはバルブ開閉信号を出したので、バル ブは指示どうりの状態にあると、コンピュータは思 っている ・バルブの位置情報のフィードバックがないか、間違 っていたため、開き終わったと勘違いして、開閉指 示をやめる Stopped Too Soon / Applied too long Computer Action 給水弁(SV1)開と ドレン弁(EV1)閉 水位アラームレベル 以下になる前に、コ ンピュータが給水弁 開とドレン弁閉指示 を出す(UCA1) Computer Action 給水弁(SV1)閉と ドレン弁(EV1)開 水位アラームレベル 状態で、コンピュー タが給水弁開とドレ ン弁閉指示を出す (UCA1) コンピュータが給水 弁が完全に閉まる 前に指示をやめる、 または、ドレン弁が 完全に開く前に指示 をやめる(UCA2) Human Action 運転員の手動 操作の介入(コ ンピュータ指示 に優先) 水位アラームレベル 水位アラームレベル に達した際、コン に達した後X秒以内 ピュータが給水弁を に、コンピュータが 閉しない、または、ド 給水弁を閉しない、 レン弁を開しない または、ドレン弁を (UCA1) 開しない(UCA1) コンピュータ操作 コンピュータが意 コンピュータ操作 誤解により運転員 が溢水を引き起こ 図通りに動いてい が溢水を引き起こ が緊急排水を中 しそうな時に、手 る時に、運転員が しそうな時に、手 断する、または、 動操作で介入し 介入して溢水を引 動操作の介入が 給水を継続する ない(UCA3) き起こす(UCA4) X秒以上遅れる (UCA5) (UCA3) - 89 - Not providing causes hazard Providing causes hazard Incorrect Timing / Order (2) UCA4:コンピュータが意図通りに動いている時に、 運転員が介入して溢水を引き起こす [Scenario 4-1] ・コンピュータが適切に制御しているのに、運転員 がこれを不十分と誤解する ・運転員への、水位に関する間違った情報提示、ま たは、不適切な操作ガイドの提示 ・コンピュータの動作に関する設計を理解していな い [Scenario 4-2] ・不注意によるコンピュータへの間違った操作介入 ・操作介入機能の設計ミス(間違えやすい設計) [Scenario 4-3] ・運転員の意図的な操作介入(安全マージンを犠牲 にした生産効率の向上など) ・過負荷やノルマなどのプレッシャー ・安全文化の不備 これらのSTPAで抽出されたハザード誘発要因を、コンピ ュータとプラントの相互作用の不具合を主にして、FTA による結果と比較したものが Fig.7 である。ほぼ同様の 要因が抽出されていることがわかるが、STPA では、ガイ ドワード図にもとづいて自由な発想で要因をリストアッ プできるため、より柔軟な結果が得られている。 また、Fig.8は、運転員とコンピュータの相互作用、お よび、運転員によるプラントの直接操作でのハザード誘 発要因をまとめて示したものである。リストアップされ ている要因は、経験のあるエンジニアからすると、おお よそ妥当なものであることが分かろう。 これらの結果をFTAと比べてみると、Fig.9に示すよう に、起動時など複雑な状況(今回の例では起動時の注水 操作)や、人間の多様な過誤行動の分析にSTPAは役だっ ていることがわかる。STPAは四つの非安全CAの制約のも と、自由な発想でハザード誘発シナリオの導出が可能に なる。 原子力分野への応用で公開されているものは少ないが、 Thomas によるNRC レポート[10]がある。PWR 蒸気発生器の リーク事故の分析をしており、NRCとして、規制等の第三 者レビューに役立つのではないかという評価を受けてい る。 Fig.7 Comparison of hazard causal factors in FTA and STPA Fig.8 Summary of hazard causal factors in human and computer interaction Fig.9 Merits of STPA evaluation in hazard analysis 4.まとめ 複雑システムの安全に関して最近の議論をまとめてみ たが、多くの事例は原子力分野に携わっている人には思 い当たることばかりであろう。一方で、3.11 の大地震・ 大津波のような破局的な災害に対する事前の発想力が足 りなかったという反省もある。また、現在でも、トラブ ルが起こるたびに手順書を積み重ね、それが却って過誤 を招く逆効果になることを感じることもあるのではなか ろうか。N.G.Leveson は、「手順書やガイドワードに囚わ れすぎると自由な発想ができなくなるのでダメである」 と、事あるごとに指摘している。また、リーズンのいう 「専門知識とメンタルスキル(注意深さ)」を持った人材 を選抜・訓練することが安全を守る最後の砦として必要 このような、原子力、航空、医療などの分野で考察さ れてきた安全に関する議論は、情報分野でのシステム開 発にも大いに参考になる考え方である。もちろん、産業 分野に応じて、安全や損失に関わる考え方は異なるが、 人、モノ、環境の協調で安全を守る時代における共通の 安全思想は必要であり、それを実現または支援するツー ルや手法が望まれる。 http://techon.nikkeibp.co.jp/atcl/column/15/335160/02170 0004/?rt=nocnt [2] エリック・ホルナゲル:Safety-I & Safety-II、海文堂、 全技術訪米調査報告、2015年7月 [6] エリック・ホルナゲル:社会技術システムの安全分 析・FRAMガイドブック [7] https://www.ipa.go.jp/sec/reports/20160331_4.html [8] https://www.ipa.go.jp/sec/reports/index.html [9] ジェームス・リーズン:組織事故とレジリエンス、日 科技連、2010年 [10] Thomas, J. and Leveson, N.: Evaluating the Safety of Digital Instrumentation and Control Systems in Nuclear Power Plants, NRC-HQ-11-6-04-0060, 2012. - 90 - というのは、当たり前ではあるが慧眼である[9]。メンタ ルスキルには、想定外を想定するという発想力、リーズ ンの表現を借りると、「生産要求とありそうでありえない 潜在的な危険性の幅広い理解をする能力」が問われるが、 その方法論のひとつとしてSTAMPがあるかもしれない。 謝辞 本稿での考察は、IPA/SECの製品・制御システム高信頼化 部会の中の障害診断WGならびにシステム安全性解析手法 WG の議論の一部をまとめたものである。参加した委員諸 氏に感謝いたします。 参考文献 [1] http://kenplatz.nikkeibp.co.jp/cp/Safety2015/ 2015年 [3] N. G. Leveson:Engineering a Safer and More Secure World、IPA/SEC-Seminar、Tokyo, 2015年6月18日 [4] N. G. Leveson,“Engineering a Safer World: Systems Thinking Applied to Safety (Engineering Systems)”, The MIT Press, 2012. [5] 日本技術者連盟、原子力発電所の異常診断・予防保“ “複雑システムの安全設計と事故モデルについて “ “兼本 茂,Shigeru KANEMOTO
最近、産業界で「Safety2.0」なる考え方が議論されている[1]。これは、人工知能、ビッグデータ、IoT(Internet of Things)といった情報化社会の技術潮流に沿って、第4次 産業革命(Industry4.0)や、自動運転のような高度な製品・制御システムが提供される時代になり、旧来の安全設計 の考え方ではない新しい安全設計が必要とされてきたた めといえる。また、3.11福島事故の頃から、Safety-II(レ ジリエンス工学)という考え方が広まっている[2]。これは、 システムの破局的な事故を防ぐために、人間の過誤を防 ぐという旧来の考え方ではなく、人間の柔軟な問題解決能力を利用することも必要ということから注目される考 え方でもある。 このような安全設計に関する時代の変化を明快に示し たのがN.G. Levesonにより与えられたFig.1のような背景 である[3,4]。近年の製品・制御システムは、そのほとんど が組込み計算機のソフトウェアにより制御されており、 多くの場合、インターネットとも繋がった複雑なシステム構成となっている。ソフトウェアにより知的で複雑な制御が実装可能になる。運転員からの指示や運転員への干渉操作が複雑に絡み合っている点も近年のシステムの 特徴である。このような複雑システムの進展に対して、 それに対応する安全設計では、図にあるように50年以上前に開発されたFTA・ETA、FMEA、HAZOPといった 手法が依然として使われている。 Fig.1 Background of current safety design tools 筆者は、組込みシステム・情報システム分野での安全 設計や障害診断といった分野での技術動向調査に関わっているが[5,6]、計算機性能の指数的な増大に伴って、システムの複雑さや開発速度も指数的に早まっておりそこでの安全設計の欠陥や不具合が社会に与える影響の大きさは、日々のニュースでも実感しているところである。 原子力プラントも巨大な組込みシステムということがで
・AI き、複雑システムの安全設計という共通の視点で安全設 技術、ビッグデータ解析技術の進展で、機械の知 計を考察することは意味があると考える。 能化(ソフトウェアによる制御)がより進む。人間の 冒頭述べた「Safety2.0」の考え方を向殿[1]に沿って要約 指示に従わないことが出てくる。 すると Fig.2 のようになる。機械技術で安全を確保する ・自動化の進展で、人間の能力が低下し、想定外の危機 Safety1.0 の時代から、人、モノ、環境が協調しながら安 対応能力が低下する 全を確保するSafety2.0 に移行し、止めない安全を達成す ・特別な訓練を受けてない人がシステムを使う(自動運 ることを目指している。「止める安全から止めない安全」 転、介護ロボットなど) というのは言葉としてはわかり易いが、これを実現する ・Industry4.0で、生産現場で究極の効率性が求められる ことはそう簡単なことではないし、一部の業界を除いて、 ・SecurityがIoT を通してSafetyに影響する 具体的な方策が提案されているわけではない。生産要求 ・ウォータフォールからアジャイル開発へ移行し、安全 と安全のトレードオフは永遠の課題でもある。しかしな 設計・信頼性管理の不安がでてくる。 がら、人と機械が日常の場で共存する時代を迎えた今、 ・オープン化・System of Systems。複数の独立企業によ このような安全の考え方を整理・考察してみることは意 る共同開発での意思疎通の問題や部品調達仕様の不 義がある。本稿ではそのきっかけとして、N.G.Levesonの 完全性の問題がでてくる。 提唱しているSTAMP/STPAというハザード分析法を紹介 ・PL 法による製造物責任だけでなく、マスコミなどを する。 通した社会への説明責任が強く問われる Safety 0.0 (人の注意力で安全を確保) 2.2 Safety2.0 の目標 Safety 1.0 (機械技術で安全を確保) ・人に危害が及ぶのを防ぐために、人を危険源から遠ざける(隔離の原則) 向殿[1]によると、safety2.0の達成目標として下記の4 ・人が危険源に近づく際に動作を止める(停止の原則) 項目が挙げられている。 Safety 2.0 (人、モノ、環境が協調しながら安全を確保) (1) 止めない安全/人とモノと環境を情報でつないで、 ・IoT、AI制御の時代で、止める安全から止めない安全へ それぞれが協調して高次元の安全を実現する取り組 Fig. 2 Transition of Safety Design み。例えば、熟練度が高い人の不安全行動では機械 2.複雑システムの安全設計とは の速度を落とす、また、熟練度が低い人では機械を 止めるといった、柔軟な安全制御機構。人と機械の 2.1 IoT 時代の環境変化 協業により、フレキシブルな生産、生産性の向上に 組込み計算機が小型化し、無線端末を通してインターネ 寄与できる。 ットとつながる IoT 時代を迎え、以下述べるような環境 (2) IoTによる安全(不安全)の見える化/人の体調や部 変化が起こっている。人、モノ、環境の相互作用がより 品の劣化状況を常時監視し、人に優しい経営や安全 緊密になること、インターネットを介して悪意のある攻 への的確な投資を行う。 撃が日常化している点で、セキュリティとセーフティの (3) 協調安全(コラボレーションフェールセーフ)/人や 境界がなくなってくること、安全性に関わるソフトウェ 環境に問題が発生した時、その情報に基づいて機械 アの開発体制もオープン化が進んでくることなど、安全 が自律的に人を安全側に誘導する 設計に関わる環境が大きく変わりつつあることを考慮す (4) セキュリティの課題/IoT による情報空間と物理空間 る必要があるが、これに対応できるハザード分析手法や の連結でセキュリティがセーフティに影響する。セ 安全設計手法として適したものがないというのが現実で キュリティとセーフティは、「完璧であることはあ あろう。また、マスコミやネットを介した批判に応える りえないという」共通点がある。「許容可能なリス という社会への説明責任がより大きくなっていることに ク」という機械安全の考え方の適用が必要。 も留意が必要であり、第三者による客観的な安全性の評 いずれも、今の時代にあった目標と言えるが、特段新し 価が重要にもなってくる。以下に、これらの環境変化を いものでもない。(1)止めない安全では、適応ユーザーイ まとめる。 ンターフェイスのような概念はこれまでに検討されてい ・人と機械の協調制御が日常化、さらに、IoT によりク るし、また、緩和制御という考え方で、非常停止をする ラウドとの連携が深まる まえに、警報レベルに近づくと、出力や速度を下げる緩 - 86 - 質、すなわち、「うまくいっている」理由を考えるという 和操作をする考え方も既に実用に供されている。今後、 このようなソフトウェアによる安全制御は、ますます高 ことである。この「うまくいっている」状態からのズレ 度化することが予想されるが、思わぬバグでトラブルが をパフォーマンス変動と称し、この変動がお互いに共鳴 起こり得ることは、近年のニュースに散見される。(2)の して大きな事故に至ることがあるという考え方である。 IoT による安全(不安全)の見える化も、米国では、 従って、このパフォーマンスの変動を監視し制御できれ Prognostic Health Monitoring(能動的状態監視)といっ ば大きな事故は防げる。このための方策として、ホルナ たシステムが原子力発電所に導入されつつある[7]。日本 ゲルは、排除、予防、防護、促進という考え方を挙げて でも、状態監視保全という考え方で回転機の挙動監視が いる。排除はハザードを発見して排除することを、予防 行われている。これが、IoTの普及で、より大規模かつ低 は安全装置の設置によるハザードの防護という意味で用 コストで実行されることが予想される。(3)協調安全では、 いている。防護は、事故を起こす原因より結果の緩和や かって、航空機の自動制御で、パイロットと機械の判断 回復手段と定義している。促進は、予防が有害なものを のどちらを優先させるかといった議論があった。原子力 防ぐという視点に対して、有用なものに焦点を当て、過 プラントでは、10 分ルールといった形で原子炉の緊急停 誤を防ぎより使いやすくするような改良設計などを行う 止の直後は、機械の判断を優先するということになって もので、能動(プロアクティブ)保全といえよう。 いる。人間と機械の判断の優先度の問題は、問題解決の 筆者なりに、これを再整理したものを以下に示す。防 状況に応じて変わるが、今後の製品・制御システムは、 護を、通常トラブルの緩和手段と、破局的事故の緩和手 人間との共存がますます親密になるため、状況依存の優 段に分け、さらに、選抜・訓練を追加した。 先度の問題は極めて重要になるが、同時に、難しい問題 (1) 排除/設計の前段階の要求仕様まで含めたハザード でもある。(4)のセキュリティの課題は、StuxNet による 分析、第三者V&V、本質安全策の検討、ソフトウェ イランの濃縮設備の破壊で注目された。遠心分離機の回 ア制御に関する形式手法による数学的証明など 転数情報が外部から改ざんされたわけであるが、これを (2) 予防/安全規格にのっとった多重化や冗長化 アナログメータにして本質安全を図るといった考え方も (3) 防護/深層防護と多様化(D3) STAMPのなかで提案されている[4]。現実的に実施可能かど (4) 促進/有用性の積極評価と能動(改良)保全(失敗 うかは別にして、セキュリティでも、機能安全規格で取 学から成功学へ)、安全が効率向上にも役立つ改善活 り入れられているSIL(Safety Integrity Level)といった 動、能動的状態監視(Prognostic Health Monitoring)、 考え方で、重要な情報を特定し、「誰から守るか」から「何 保全PDCAサイクル を守るか」「どの程度の完璧さで守るか」といった考え方 (5) 破局からの防護・レジリエンス/事故の緩和・回復 に移行することも大事である。 手段の提供、未予見外乱の兆候を認識する注意力と このように、Safety2.0では、新しいことを言っている 発想力(小さな改善活動(促進)は、小さな失敗は 訳ではなく、できることは、既に行われている。しかし、 防げるが、大きな失敗を防げるわけではないことに このような目標を明確にし、その標準的な達成方法をガ も留意が必要) イドラインのようなもので示しておかないと、安易に取 (6) 選抜・訓練/専門技術とメンタルスキル(注意力) り組むと大きな失敗にもなりうることに注意が必要であ の訓練[9]、安全文化の醸成 る。 これらの方策のなかで、実施可能なものはすでに実際 の現場に取り入れられている。一方で、(1)のハザード分 2.3 パフォーマンス変動の監視と制御 析などは、多様な環境下(例えば、定期検査時の作業、 複雑システムの安全に関して、前節で述べたような目 新人と熟練者の混じった作業現場など)で、旧来の FTA 標を達成するのは、従来の標準規格に基づく安全設計や、 や FMEA のような手法が使えるかというと、疑問が残る。 綿密な事前テストを行ったりするだけでは困難と考えら また、(6)の選抜・訓練においても、予想できるシナリオ れる。しかしながら、いくつかの先駆的な研究や提案が での対応訓練は十分に行われているが、想定をはずれた ある。ホルナゲルは、複雑システムの安全分析に、機能 シナリオをどこまで想定できるかといった発想力のテス 共鳴解析手法(FRAM)という考え方を提唱している[8]。 トのような訓練がなされているかは不明である。こうい 失敗の本質に焦点を当てるのではなく、日々の活動の本 った視点で役立つ可能性のある手法として、以下の節で、 - 87 - 新しいハザード分析法の紹介をする。 2.4 新しい事故モデル・STAMP 複雑システムに対応可能な事故分析法としてFRAMを 挙げたが、もうひとつの注目すべき事故モデルとして、 N.G.Levesonにより提唱されたSTAMP(System Theoretic Accident Model and Process)がある。いずれも、非線形複 雑システムを想定し、創発(Emergency)や共鳴(Resonance) といったフィードバックを含む動的なシステムの中で、 安全が保たれたり事故が顕在化したりするという考え方 を基礎においている。FRAM が正常時の挙動からの偏差 をどう調整して成功に導くかという視点に立ったモデル であるのに対して、STAMP はハザード(失敗)に至る非 安全な制御行動をどのように網羅的に発想できるかとい う視点に立っており、対極的なモデルにも見えるが、シ ステム内の要素の動的で非線形の相互作用によりハザー ドが発現するという本質的な考え方は同じであろう。た だし、成功に至るパスや失敗に至るパスを新たに見つけ るという発想力を喚起する手段としては異なり、具体例 による比較が待たれるところでもある。 ここでは、STAMP に付随するハザード分析手順である STPA(System Theoretic Process Analysis)を含めて、複雑 系のハザード分析にどのように用いてゆくかを簡単な事 例で説明する。 STAMP/STPAの詳細は、N.G.Levesonの教科書[4]ないし IPA(情報処理推進機構)で公開している解説書[7,8]を参照 していただきたいが、ここでは、その概略手順を述べる。 具体的手順は、次章の事例研究を参照されたい。 (1) アクシデント、ハザード、安全制約、ならびに、制 御構造図を定義する。ここで、ハザードはアクシデ ントに至る前の状態と定義され、安全制約は、ハザ ード状態を防ぐための制約条件である。制御構造図 は、対象プロセスの安全を保証するための制御アク ションを、制御器、操作器、フィードバック信号、 対象プロセスという抽象化した構造の中で定義する。 (2) 非安全なコントロールアクション(CA)の識別:STPA の特徴は、非安全CAを下記の4つのキーワードをも とに識別することである。 ・与えられないとハザード ・(不適切な状況で)与えられるとハザード ・早すぎ、遅すぎ、誤順序で与えられるとハザード ・早すぎる停止、長すぎる適用でハザード (3) 非安全なコントロールの原因(ハザード誘発要因/ 機器故障や操作 ミスによる「オー バーフローを防 ぐ! - 88 - ハザードに至るシナリオ)の特定、ならびに、その 回避策(下位のコンポーネントへの安全制約)の導 出。原因を考える参考として、Fig.3 に示すような、 ハザード誘発要因のガイドワードが与えられている。 Fig.3 Typical hazard causal factor 3.STAMP 事例研究 3.1 化学プラントシミュレータ[8] Fig.4 にSTAMP 事例研究の対象にした簡単な化学プラン トシミュレータの UI 画面を示す。二つのタンクがあり、 下のタンクの水をポンプで汲み上げ、さらに上のタンク の水位を一定に保つ制御器を持たせている。何らかの故 障で水位がアラームレベルを超えると、緊急排水弁を開 放してオーバーフローを防ぐ仕組みである。右下の赤丸 で示した部分で、各種の故障を模擬できるようになって いる。このシミュレータの特徴は、右上の赤丸で囲った ボタンで、システムの起動(注水操作)、緩和操作(水位 がアラートレベルを越えた際に数秒間だけ緊急排水弁を 自動ないし手動で開けてアラームでの緊急排水を回避す る)、緊急停止、通常停止という4 つの操作を運転員の指 示で行う点である。各種の故障のもとで、機械による自 動制御と運転員によるオーバーライド操作を模擬できる ようになっている。 なお、このシミュレータの詳細は、IPA/SEC のWeb サイ トで公開されている[8]。 Fig.4 Simple chemical plant simulator 3.2 分析結果[8] 緊急停止、緩和制御 などのコンピュータ 制御ロジック 運転員による監視・ 制御機能各種の故障 模擬機能 この化学プラントのアクシデントをタンク1からの溢 水として分析した結果を以下で説明する。ハザードは、 水位がアラームレベルを超えた状態であり、安全制約は、 水位がアラームを超えた危険な状態にならないこと、と なる。この制御構造図は、Fig.5 に示すように、運転員、 コントローラ、緊急排水弁が階層的に並んだものとなる。 ここで、コンピュータからプラントへの指示(コントロ ールアクション、CA)は、タンクへの注水と緊急排水に なる。さらに、運転員からのオーバーライド指示として、 緊急排水操作がある。この3通りのCA に対して、4つの タイプの非安全CA の影響を評価したのが、Fig.6 の表で ある。5通りの非安全CA(UCA)が抽出されていることがわ かる。 Fig.5 Control structure of chemical plant Fig. 6 Unsafe control action table and hazard prediction この5つの UCA のハザード誘発シナリオの分析結果の一 部を以下に紹介する。詳細は文献[8]を参照されたい。 (1) UCA2:コンピュータが給水弁が完全に閉まる前に指 示をやめる、または、ドレン弁が完全に開く前に指示 をやめる [Scenario 2-1] ・コンピュータはバルブ開閉信号を出したので、バル ブは指示どうりの状態にあると、コンピュータは思 っている ・バルブの位置情報のフィードバックがないか、間違 っていたため、開き終わったと勘違いして、開閉指 示をやめる Stopped Too Soon / Applied too long Computer Action 給水弁(SV1)開と ドレン弁(EV1)閉 水位アラームレベル 以下になる前に、コ ンピュータが給水弁 開とドレン弁閉指示 を出す(UCA1) Computer Action 給水弁(SV1)閉と ドレン弁(EV1)開 水位アラームレベル 状態で、コンピュー タが給水弁開とドレ ン弁閉指示を出す (UCA1) コンピュータが給水 弁が完全に閉まる 前に指示をやめる、 または、ドレン弁が 完全に開く前に指示 をやめる(UCA2) Human Action 運転員の手動 操作の介入(コ ンピュータ指示 に優先) 水位アラームレベル 水位アラームレベル に達した際、コン に達した後X秒以内 ピュータが給水弁を に、コンピュータが 閉しない、または、ド 給水弁を閉しない、 レン弁を開しない または、ドレン弁を (UCA1) 開しない(UCA1) コンピュータ操作 コンピュータが意 コンピュータ操作 誤解により運転員 が溢水を引き起こ 図通りに動いてい が溢水を引き起こ が緊急排水を中 しそうな時に、手 る時に、運転員が しそうな時に、手 断する、または、 動操作で介入し 介入して溢水を引 動操作の介入が 給水を継続する ない(UCA3) き起こす(UCA4) X秒以上遅れる (UCA5) (UCA3) - 89 - Not providing causes hazard Providing causes hazard Incorrect Timing / Order (2) UCA4:コンピュータが意図通りに動いている時に、 運転員が介入して溢水を引き起こす [Scenario 4-1] ・コンピュータが適切に制御しているのに、運転員 がこれを不十分と誤解する ・運転員への、水位に関する間違った情報提示、ま たは、不適切な操作ガイドの提示 ・コンピュータの動作に関する設計を理解していな い [Scenario 4-2] ・不注意によるコンピュータへの間違った操作介入 ・操作介入機能の設計ミス(間違えやすい設計) [Scenario 4-3] ・運転員の意図的な操作介入(安全マージンを犠牲 にした生産効率の向上など) ・過負荷やノルマなどのプレッシャー ・安全文化の不備 これらのSTPAで抽出されたハザード誘発要因を、コンピ ュータとプラントの相互作用の不具合を主にして、FTA による結果と比較したものが Fig.7 である。ほぼ同様の 要因が抽出されていることがわかるが、STPA では、ガイ ドワード図にもとづいて自由な発想で要因をリストアッ プできるため、より柔軟な結果が得られている。 また、Fig.8は、運転員とコンピュータの相互作用、お よび、運転員によるプラントの直接操作でのハザード誘 発要因をまとめて示したものである。リストアップされ ている要因は、経験のあるエンジニアからすると、おお よそ妥当なものであることが分かろう。 これらの結果をFTAと比べてみると、Fig.9に示すよう に、起動時など複雑な状況(今回の例では起動時の注水 操作)や、人間の多様な過誤行動の分析にSTPAは役だっ ていることがわかる。STPAは四つの非安全CAの制約のも と、自由な発想でハザード誘発シナリオの導出が可能に なる。 原子力分野への応用で公開されているものは少ないが、 Thomas によるNRC レポート[10]がある。PWR 蒸気発生器の リーク事故の分析をしており、NRCとして、規制等の第三 者レビューに役立つのではないかという評価を受けてい る。 Fig.7 Comparison of hazard causal factors in FTA and STPA Fig.8 Summary of hazard causal factors in human and computer interaction Fig.9 Merits of STPA evaluation in hazard analysis 4.まとめ 複雑システムの安全に関して最近の議論をまとめてみ たが、多くの事例は原子力分野に携わっている人には思 い当たることばかりであろう。一方で、3.11 の大地震・ 大津波のような破局的な災害に対する事前の発想力が足 りなかったという反省もある。また、現在でも、トラブ ルが起こるたびに手順書を積み重ね、それが却って過誤 を招く逆効果になることを感じることもあるのではなか ろうか。N.G.Leveson は、「手順書やガイドワードに囚わ れすぎると自由な発想ができなくなるのでダメである」 と、事あるごとに指摘している。また、リーズンのいう 「専門知識とメンタルスキル(注意深さ)」を持った人材 を選抜・訓練することが安全を守る最後の砦として必要 このような、原子力、航空、医療などの分野で考察さ れてきた安全に関する議論は、情報分野でのシステム開 発にも大いに参考になる考え方である。もちろん、産業 分野に応じて、安全や損失に関わる考え方は異なるが、 人、モノ、環境の協調で安全を守る時代における共通の 安全思想は必要であり、それを実現または支援するツー ルや手法が望まれる。 http://techon.nikkeibp.co.jp/atcl/column/15/335160/02170 0004/?rt=nocnt [2] エリック・ホルナゲル:Safety-I & Safety-II、海文堂、 全技術訪米調査報告、2015年7月 [6] エリック・ホルナゲル:社会技術システムの安全分 析・FRAMガイドブック [7] https://www.ipa.go.jp/sec/reports/20160331_4.html [8] https://www.ipa.go.jp/sec/reports/index.html [9] ジェームス・リーズン:組織事故とレジリエンス、日 科技連、2010年 [10] Thomas, J. and Leveson, N.: Evaluating the Safety of Digital Instrumentation and Control Systems in Nuclear Power Plants, NRC-HQ-11-6-04-0060, 2012. - 90 - というのは、当たり前ではあるが慧眼である[9]。メンタ ルスキルには、想定外を想定するという発想力、リーズ ンの表現を借りると、「生産要求とありそうでありえない 潜在的な危険性の幅広い理解をする能力」が問われるが、 その方法論のひとつとしてSTAMPがあるかもしれない。 謝辞 本稿での考察は、IPA/SECの製品・制御システム高信頼化 部会の中の障害診断WGならびにシステム安全性解析手法 WG の議論の一部をまとめたものである。参加した委員諸 氏に感謝いたします。 参考文献 [1] http://kenplatz.nikkeibp.co.jp/cp/Safety2015/ 2015年 [3] N. G. Leveson:Engineering a Safer and More Secure World、IPA/SEC-Seminar、Tokyo, 2015年6月18日 [4] N. G. Leveson,“Engineering a Safer World: Systems Thinking Applied to Safety (Engineering Systems)”, The MIT Press, 2012. [5] 日本技術者連盟、原子力発電所の異常診断・予防保“ “複雑システムの安全設計と事故モデルについて “ “兼本 茂,Shigeru KANEMOTO