THE FUTURE IS NOW

AI

人工知能(AI)やビッグデータ、自動運転など最先端技術を活用した都市「スーパーシティ」の実現に向けた構想が動きはじめています。

内閣府が掲げる「スーパーシティ」構想では、住民が参加し、住民目線で、2030年頃に実現される未来社会を先行実現することが目指され、自動運転やドローン、空飛ぶ車といった自動走行や自動配送、再生可能エネルギー、キャッシュレス決済、遠隔医療や遠隔教育など、さまざまな分野が横断的に連携し、社会実装する取り組みが期待されます。これらはデジタル変革時代(DX)と相まって、今後ますます人工知能(AI)を始めとした先端技術の重要性が増すことが想定されます。

ブラックボックス化した人工知能(AI)システム

今後私たちの生活に密接になる人工知能(AI)の安全性はどのように検証されるのでしょうか。 一般的には、人工知能(AI)システムの内部倫理構造は知ることができず、ブラックボックス化されています。そのため、説明可能なAI(XAI:eXplanable AI)技術により、LIME(Local Interpretable Model-agnostic Explanations)やTesting with Concept Activation Vectors (TCAV)、ACE(Automatic Concept-based Explanation)などに代表されるように、学習済みAIモデルの判定基準の可視化技術は目覚ましい発展を遂げています。

XAIの事例

図1:XAIの事例(LIMEとACE)

しかし、人工知能システムを可視化して理解できることと、安全性を立証することは異なります。
学習の結果獲得された内部論理構造が十分に人間に理解でき、かつ妥当であると判断できない限り、システムの安全性を立証することは不可能です。なぜなら、安全性の立証は、確率論的に高い正解率のみによって立証しうるものではなく、ハザード解析などに代表されるように、達成したい安全制御がどのような論理によって実行され、それが想定しうる状況で想定通りの挙動をしていることを証明しなければならないからです。

人工知能(AI)モデルの安全性立証サービス「Reliable AI」

当社は、レジリエンス・エンジニアリングにおける安全分析のための手法である機能共鳴分析(FRAM:Functional Resonance Analysis Method)と、FRAMの妥当性を立証するSpecTRM-RL(SpecTRM Requirement Language)の組み合わせ(特許出願済み)により、人工知能(AI)の安全性を立証いたします。

FRAMについて

レジリエンス・エンジニアリングを創出したヨンショーピング大学エリック・ホルナゲル教授が開発した手法。従来の安全解析手法であるFTAやFMEAと異なり、システムの「故障・失敗要因」の分析ではなく、システムの「成功要因」の分析を行います。
以下サイトより、モデリングツール入手可能です。(無償)

https://functionalresonance.com/FMV/index.html

図

図2:FRAMモデルの例

SpecTRM-RLについて

マサチューセッツ工科大学(MIT:Massachusetts Institute of Technology)のナンシー・レブソン教授の開発した形式手法。きわめてシンプルな定義言語で、状態空間の網羅的な検証に使用します。

人工知能(AI)システム安全性検証のフロー

人工知能(AI)システムの安全性は2つのフローにより検証されます。

人工知能(AI)システムの可視化・可視化したモデルの完全性/一貫性解析

1.人工知能(AI)システムの可視化

FRAMを用いて、「人工知能がなぜ問題をうまく解けるのか」を明らかにすることからはじめます。FRAMでは、機能間のカップリングがどのような形で行われているかを図示化します。機能間のカップリングには、図3に示される6要素のいずれかを選ぶことが可能で、これにより、機能と機能が単に「関連している」ことを示すだけでなく、「AはBの前提条件となっている」「AはBに資源を供給する」「AはBに動作トリガーを与える」「AはBの制御パラメータを提供する」「AはBに時間制約を与える」など、豊富な意味を与えることができます。

機能

図3:FRAMの6要素の構成

例えば、画像から乗用車とトラックを判定する人工知能を分析しようとする場合、同じことを自然知能がどのような内部論理構造に基づき判定しているのかをモデル化します。その際、判定に関わるパラメータにどのようなものであるかをやみくもに考えていては、漏れや間違いが発生しやすいですが、FRAMのモデリング手法に従い実施すると、網羅的に関連機能を識別できます。

例)荷台があり、屋根があり、長いノーズ部があれば、乗用車ではなくトラックである確率が高い
(ここでのパラメータは、「荷台があること」、「屋根があること」、「長いノーズ部があること」)

2.可視化した人工知能モデルの完全性/一貫性解析

FRAMモデルで識別したパラメータを、LIMEやACEなどのXAI手法による根拠可視化の結果を基に修正し、識別したパラメータに対して、SpecTRM-RLにより、人工知能システムを可視化したFRAMモデルの完全性解析および一貫性解析を行います。つまり、判定に関わるパラメータに不足がないか(例:トラックであることを判定するに必要な条件は他にないか)、複数の出力を出す同一のパラメータの組み合わせがないか(例:同じパラメータでトラック以外と判定される可能性はないか)を解析します。この繰り返しにより、可視化した人工知能(AI)システムモデルの完全性および一貫性の精度を向上させていきます。

車の解析

図4:SpecTRM解析結果の例

人工知能(AI)システムの安全検証を行うことにより、ブラックボックスを可視化したうえで評価できるだけでなく、人間が思いつけなかった新しい論理を人工知能が学習の結果獲得したことを安全検証の結果知ることができるようになります。この手法により安全検証を行うことにより、人間は人工知能から学び、より良い安全のための新たな気づきを得ることができるようになります。人工知能の能力が人間を大きく凌駕した場合など、人工知能の挙動が理解できないという理由で安全性の立証をあきらめるのではなく、より積極的に、人工知能の成功要因を明らかにし、人間もそこから学び、ともに成長することが可能となることが期待されます。

異常検知/故障予兆検知AIモデルの安全性検証

本技術は画像以外のデータ分析に対しても適応可能です。
例えば故障予兆検知のAI/機械学習モデルの検知した根拠の可視化、モデルの信頼性評価等にも適応することができ、2019年より宇宙システムの実機テレメトリデータを用いた実証を実施しております。

【お問い合わせ】
メール:jamss-sales@jamss.co.jp
電話:03-3211-2060(平日午前10時~午後5時まで受付)