医療AI開発の品質を支える第三者検証の力。「我流のテスト」を脱却し、再現性のある品質保証体制を構築

国立がん研究センター発のベンチャーとして手術支援AI「SurVis（サービス）」シリーズを開発する株式会社Jmeesは、2019年創業の少数精鋭のスタートアップです。

同社は、医療現場や薬機法の厳しい要求水準を満たすべく、AGESTのテスト支援を導入。今回は、代表取締役の松崎様、開発部の香野様、浦井様に、テストの外部委託による品質向上の成果や今後の展望について伺いました。

AIで外科医の判断をサポートし、手術の「認識エラー」をゼロに

はじめに、貴社の事業内容と皆様のお役割について教えてください。

松崎様：当社は、主に手術におけるAIを用いた外科医の認識支援システムを開発しています。手術には、執刀医の認識エラーによる臓器損傷事故が一定数発生するという社会的課題があります。高齢化に伴い手術件数が増加するなかで、本来防げるはずのミスをゼロにすることが私たちのミッションです。

主力プロダクトのひとつ「内視鏡手術支援プログラム SurVis-Hys」は、子宮全摘術（腹腔鏡下およびロボット支援下）において、尿管や膀胱といった「損傷させてはいけない臓器」をAIが認識し、画面上でハイライト表示するシステムです。「危険区域である」ことを外科医に提示して認識力を補い、事故を未然に防ぐことが期待されます。

私は代表取締役として、AIエンジニアのバックグラウンドを活かしつつ、現在はビジネスサイドを含めたサービスにおける戦略全体を統括しています。

香野様：私は設計開発部において部長を務めており、AIエンジニアリングとマネジメントを兼務しています。開発チームの統括に加え、AI学習に用いるデータの管理や医療機器開発に不可欠な書類の作成・管理を担っています。

浦井様：私は元々ゲーム開発の出身で、現在は設計開発部においてアプリケーションエンジニアとして現場を担当しています。手術中にリアルタイムでAIの判定を表示する必要があるため、遅延なくスムーズに動作させるアプリ周りの開発を行っています。

開発リソースの枯渇と「我流テスト」の限界

AGESTに依頼する前は、どのような課題を抱えていらっしゃったのでしょうか？

浦井様：最大の課題はリソース不足でした。当社はスタートアップということもあって開発メンバーが少なく、メンバーそれぞれが日々の開発に追われ、テストや書類作成まで手が回っていませんでした。また、テスト仕様書などのドキュメント類も十分に整備できておらず、プログラマー個人の裁量に頼った「我流」のテストが常態化していたのです。

松崎様：過去にテストを外部委託したこともあったのですが、当社が求めるクオリティのサービスを提供してくれる会社を見つけることはできませんでした。そのため、これまでは基本的に自社で対応していたのですが、開発スピードを優先するあまりバグの発生を避けられず、開発における不安がつきまとってしまっていました。

自社だけでは労力もノウハウも足りず、開発したサービスの品質を隅々までは保証しきれない状況だったと言えるかもしれません。

テストを外部へ委託することに対して、懸念はありませんでしたか？

浦井様：前職で働いていた際に、デジタルハーツ（AGESTの親会社）にゲームデバッグを依頼した経験があり、柔軟に幅広いテストに対応してくれる印象を持っていました。また、以前より第三者検証の必要性を強く感じていたため、外部委託に対する不安はあまり大きくはありませんでした。

数ある会社の中で、AGESTを選んだ決め手は何だったのでしょうか？

テスト項目数は約4倍に拡充し、品質が大幅に上がった

実際にAGESTからどのような支援を受けましたか？

浦井様：最初は結合テストからスタートし、そこから総合テストや探索的テストも実施していただきました。さらにその後、追加機能開発に伴い、基本設計書の修正や新規作成まで依頼範囲を広げていきました。

特筆すべきは、私たちが詳細な仕様書を用意できていない状態だったにもかかわらず、当社の意図を汲んでテストを自走してもらった点です。こちらの仕様を細かくお伝えしていなくても、経験豊富なQAエンジニアの方が実際のプロダクトの動作や断片的な情報からテスト設計書まで落とし込んでくれました。

どのような成果が得られましたか？

浦井様：アプリケーション担当としても、自分たちでは気付かないような不具合を多数指摘いただき、修正対応に専念することができました。特に、開発中に発生しがちなデグレーションについても、広範囲なテストによってしっかりと拾っていただけました。

セキュリティ診断も実施されたとお聞きしていますが、その点はいかがでしたか？

香野様：薬機法の改正により、サイバーセキュリティ対策が必須となったことがきっかけで、AGESTにセキュリティ診断も依頼させていただきました。急な法改正への対応を迫られたものの、当社にはセキュリティに関するノウハウがあまりなかったのですが、パートナー企業と連携してセキュリティ診断も実施してもらいました。急な法改正に対しても、ワンストップで対応いただけたのは非常に助かりましたね。

網羅的なテストの型が完成し、誰もが再現可能な状態に

AGESTの担当者の対応について、印象に残っていることはありますか？

浦井様：設計やドキュメント作成を担当してくださった方は、ほぼ毎日のようにSlackやオンラインミーティングで密に連携をとってくれました。仕様書の更新が追いついていない状況でも、「実装から読み取ると、このような仕様ですよね？」と積極的に提案してくれたり、こちらが作成すべきドキュメント類を整備してくれたりと、非常に優秀な方だったと感じています。

香野様：テスト担当の方も、非常に機転が利く方でとても頼りになる印象を持っていました。「このテスト項目も必要ですよね」と先回りして追加してくださり、探索的テストにより、通常シナリオでは想定外のバグも発見いただけました。スピード感もあり、安心してお任せすることができたと感じています。

松崎様：私が一番良かったと感じているのは、網羅的なテストの型が完成したことです。これまでは「なんとなく」で進めていた部分もあったのですが、誰が実施しても同じ結果が得られる「再現可能な状態」を作ることができました。

「この項目どおりにテストをクリアすれば、世に出しても大丈夫だ」という確信を持てるようになったことは、経営者として大きな安心感につながっています。

医師の行動変容を促すようなシステムへ。サービス拡大と追加機能を加速させていく

最後に、AGESTへの期待と今後の事業展望についてお聞かせください。

香野様：新機能の追加や新しいプロダクトの開発において、やはり探索的テストは欠かせません。ユーザーの想定外の操作による不具合は、自社内では発見しにくいものです。

今後も、「まず探索的テストで大きな穴を塞いでその後に結合・総合テストで固めていく」というフローをAGESTと一緒に回していけたら心強いなと感じています。

浦井様：エンジニアとしては、やはりドキュメント作成のサポートも期待したいです。私たちはどうしても「まずコードを書いて動かす」ことを優先してしまいがちですが、医療機器として薬事申請を通すには膨大なドキュメントが必要です。

実装に追従する形でドキュメントを整備していただけると、当社にとってはさらに大きな存在になってくれるのではないかと期待しています。

関連コンテンツ