最新の発表・研究成果>

Sensitive Region-based Metamorphic Testing Framework using Explainable AI

MET(Metamorphic Testing)2023
鳥越 湧真、西 康晴(電気通信大学)、髙橋 寿一(株式会社AGEST)

研究テーマ

ゲームから車載機器まで、AI(Artificial Intelligence: 人工知能)を用いた製品やサービスが主流になってきている。AIにはいくつかの世代があるが、ここではディープラーニングや深層学習と呼ばれるニューラルネットワークを用いたAIを指す。
こうしたAIは通常ML(Machine Learning: 機械学習)技術を用いて開発されるが、テストの手法はこれまでの伝統的なソフトウェアテストと異なることが知られている。AIに対する品質保証に関する国内初のガイドラインであるQA4AIガイドラインによると、伝統的なソフトウェアのための演繹的開発と異なり、ML技術を用いたAIは帰納的開発と呼ばれる方式で作られるため、帰納的開発特有のテスト技法が必要となる。
帰納的開発特有のテスト技法には、メタモルフィックテスト、ニューロンカバレッジ、最大安全半径、網羅検証、強化学習テスト、敵対的ネットワークテストが知られている。しかし現在のところ、どの技法も確立しているとは言えず、AIを用いた製品やサービスに対する実用的なテストを可能にするかどうかは未知数である。
本研究プロジェクトでは、AIに対するテスト技法を確立することを目的とする。まず既存のテスト技法を調査・試行し、その結果より新たなテスト技法に進化させる。また著名なAIに対して進化させたテスト技法の適用を行う。
弊研究室ではこれまで、AIによるOCRに対するメタモルフィックテストと、ゲームに対するAIによる強化学習テストについて研究を行ってきた実績がある。またAIによる演繹的テスト技法の高度化について研究を行ってきた実績がある。研究室を主宰する西講師は、AIに対する品質保証に関する国内初のガイドラインを作成したQA4AIコンソーシアムの運営委員長である。したがって本研究テーマに対して最適な研究グループの一つであると言える。

研究者

西 康晴(にし やすはる)

1995年に東京大学工学部卒業、2001年に東京大学大学院工学系研究科博士課程修了。博士(工学)。同年ソフトウェアテストやQAに関するコンサルタントとして企業で活躍。2003年国立電気通信大学(現国立大学法人電気通信大学)に講師として奉職。IEEE ISSRE2018 Best Disruptive Idea Awardなど受賞多数。
電気通信大学 大学院情報理工学研究科情報学専攻 経営・社会情報学プログラム
講師NPO法人ソフトウェアテスト技術振興協会(ASTER) 理事長
JSTQBソフトウェアテスト技術者認定資格制度 運営委員長
一般社団法人日本科学技術連盟 ソフトウェア品質委員会(SQiP) 副委員長
ISO/IEC JTC1/SC7/WG26(ソフトウェアテストの国際規格ISO/IEC/IEEE 29119シリーズの策定委員会) 国内委員会主査
これまでの主要なクライアント:国内大手自動車企業および大手車載部品企業、国内大手金融企業、国内大手生産設備企業、国内大手総合電機企業、国内大手家電企業、国内大手AV機器企業、国内大手通信機器企業、国内大手ソフトウェアテスト企業、国内大手システムインテグレーター、国内中堅ソフトハウス、国内著名ソフトウェア開発ツールベンダ、中国大手車載系企業、グローバル大手通信機器企業など

研究テーマ一覧