ITトップ企業のQA課題を先進的コンサルで支援。ミューテーションテストによって品質を可視化、開発チーム内でのシフトレフト志向が定着。
検索・ポータル、eコマース、メッセンジャー、広告事業 など
プロダクト開発本部 サービスQA部 サービステスト支援チーム リーダー 片山 浩様
- スピード重視の開発を推進する中、大量に抱えるサービスごとにテスト品質がばらつく大企業がゆえの課題が発生
- テスト品質とテスト効率の両立を目指し、ガイドラインのアップデートと、単体テストの精度や整合性を可視化するミューテーションテストを実施
- 現場の状況も加味しミューテーションテストをトライアルから段階的に導入、着実にQA体制が強化
- 「開発の上流工程でテストを実施すべき」「テストは早めに行ったほうがいい」という開発サイドでの”シフトレフト”の意識定着も実感
日本トップクラスのインターネット企業・LINEヤフー様。マルチビッグデータとソリューションを駆使し、多岐にわたるサービスを提供しています。10年以上に渡り当社のテスト関連ソリューションをご提供してまいりましたが、急速に拡大を続けるLINEヤフー様の各事業における「開発スピードの向上」と「サービス品質の向上」を同時に実現していくためのQA（品質保証）体制に対する課題感が高まったことから、2022年から本格的に当社の『QAコンサルティングサービス』を導入。現在も継続的な取り組みを進めている中、今回はプロダクト開発本部 サービスQA部 サービステスト支援チーム リーダー 片山浩様に、ご依頼いただいた経緯やサービスの品質などについてお聞きしました。
貴社のことを知らない方はほとんどいないと思いますが、改めて現在の事業内容を教えてください。
片山様：当社は検索・ポータル、eコマース、メッセンジャー、広告など、多様な領域において事業を展開しています。
現在、片山様がいらっしゃる「サービステスト支援チーム」について教えてください。
片山様：当チームは旧ヤフーのサービスへテストのサポートをしています。具体的にはQAに関するワークショップや研修の実施、テスト作成者へのフィードバックを通して、あらゆるテスト手法をレクチャーしています。
事業成長とスピード重視の開発体制でサービスごとのテスト品質にばらつきが発生。全社的な底上げの必要性を痛感
当社のQAコンサルティングをご利用いただく前はどのような状況でしたか？
片山様：旧ヤフーは11年前に「爆速」というスローガンを掲げ、サービス開発・リリースともにスピード重視の新体制になりました。それに伴い、QAも専任組織を解体し、サービスごとに担当事業部を設ける縦割り体制に。事業部で単体テストの設計から実行までを一貫して行うことになりました。これによって生まれたのが、テスト設計に対する不安感です。事業部には体系的なテスト知識が不十分なスタッフもおり、「自分の設計に確信を持てない」という声が挙がってきました。
テスト全般を外注する選択肢は検討されていたのでしょうか？
片山様：その選択肢は最初からありませんでした。旧ヤフーでは7年ほど前からテスト自動化の環境整備に取り組んでおり、その一環でエンジニアのテスト技術の習得を目指してきたからです。エンジニアがテスト設計もできれば大きな強みになりますし、現場全体の責任感も高まる。また、テスト設計ができればエンジニアが書くコード自体の品質も良くなると見込んでおり、実際にそのとおりでした。
こういった考えは現場に定着しましたが、次第にテスト品質に課題が生まれました。開発現場がどうしてもリリースありきになってしまい、各エンジニアのテスト技術によって品質に差が出てきたのです。これを解決するためには、テスト品質を底上げする仕組み作りが必須。専門的なコンサルティングの導入を検討し始めました。
豊富な知見の後押しと適切なリスクコントロールでミューテーションテストのトライアル導入へ、経営層からも強い関心
数多くのサービスを提供する貴社が外部企業にコンサルティングを依頼されるのは大きなご判断だと思います。当社以外に他社も検討されましたか？
片山様：していません。AGESTさんとは単発案件を含めると10年以上のお付き合いですし、別チームが担当したテスト品質の合格基準の策定でもお力を借りていましたので、安心感がありました。現在コンサルティングをしていただいている高橋寿一※1さんの存在も大きかったです。ソフトウェアテストの第一人者として実績も申し分ないですし、私たちの課題とAGESTさんの実績が合致したので、他社を検討する必要はありませんでした。
※1 当社CTSO。情報工学博士。フロリダ工科大学大学院にてCem Kaner博士、James Whittaker博士にソフトウェアテストの指導を受けた後、広島市立大学にてソフトウェアテスト研究により博士号取得。米国Microsoft、SAP Labs、ソニー株式会社を経て、株式会社AGEST 取締役 CTSO、AGEST Testing Lab.所長及びAGEST Academy学長を兼任。
QAコンサルティングでは最初にテストガイドラインの詳細なアップデート、次いでミューテーションテスト※2をご提案しました。社内での反応はいかがでしたか？
※2 開発の早い段階でソースコードに意図的にエラーコードを埋め込み、それを発見できるかどうかを確認するテスト手法。
片山様：ガイドラインは既にあったものの、手を加えて内容を充実させたいと考えていましたので、問題なく話が進みました。
一方、ミューテーションテストは導入ハードルが高かったです。懸念となったのは工数です。コンサルティングでの対話を続ける中で、単体テストの精度や整合性を可視化できるため、現場の不安感解消につながる取り組みだと実感しました。しかし、国内での実績はほとんどなく、当社としても初めての試み。さらに、各事業部内で行うため現場の工数が増えますし、導入しても続かない可能性もあるため、慎重になりました。
そういった状況の中、ミューテーションテストの導入を決めた理由は何だったのでしょうか？
片山様：重大事故を一定以下にするために、経営層がテスト品質の向上と効率化を要望していました。市場不具合を減らすには、上流で品質担保を行うことが重要であるため、単体テストの品質改善を優先的に行うことになりました。そこで高橋さんから単体テスト改善の手法としてミューテーションテストのご提案をしていただいたのが導入に至った理由になります。まずはトライアルとして対象チームを絞り、小規模の実施から始めることにしました。
状況に応じた対応で着実にQA体制を強化
ガイドライン作成、ミューテーションテストはそれぞれどのように進めていきましたか？
片山様：ガイドラインについては、社内のテスト基準を設け、適切なテスト設計ができるようになることをゴールとしました。私が作成した下地をAGESTさんにチェックしてもらいレビューをいただく。それを元に開発担当者とも話し合い、アップグレードする。これを何度も繰り返し、無事に完成しました。
対して、ミューテーションテストは状況に応じて修正・改善しながら進めていきました。国内での事例が少なく、進め方もこれという正解がなかったため、臨機応変な進め方になりました。
例を挙げると、ミューテーションテストはシステムへの取り込み、テスト実行ともに時間を要します。そうなると開発工程にも影響が及ぶため、現場のテンションも下がって続かなくなってしまう。これを回避するために試行錯誤を重ねて、テストの実行時間を短縮するなどの工夫を施していきました。半年かけてようやく導入・運用の目途が立ったと思います。QAコンサルティングの中でAGESTさんには、「ミューテーションテスト実施結果レポート」の作成やメトリクスの取得などを行っていただきました。
やっと土台作りが終わったところですので、次の段階に向けて体制を整えているのが現状です。
”シフトレフト”が定着、自主的に学びを深める勉強会も誕生
当社を評価いただいているポイントやポジティブな効果がありましたら教えてください。
片山様：豊富な実績があるAGESTさんにコンサルティングをしていただけたことに価値を感じます。意見も納得感が高いですし、新たな取り組みも先端知見や豊富な実績によるお墨付き、と考えると安心感もありました。AGESTさんのサポートがあったからこそ、QA体制強化の取り組みもここまで進められたと思っています。また、当社のシステムを見ていただいた際、新たな発見もありました。一般的に起こりやすいバグが当社ではそれほどないと判明したので、これは収穫の一つだと思っています。
ガイドラインの作成は当社全体として大きな成果になりましたし、ミューテーションテストは「開発の上流工程でテストを実施すべき」という”シフトレフト”の考えを定着させる第一歩になったと思います。
改善の第一歩は現場の課題を明確にすること
現時点でさらに改善したい点はありますか？
片山様：ミューテーションテスト自体の改善というよりかは、導入・運用の横展開をしていきたいと考えています。中長期計画を立てて進めていくことと、ミューテーションテストの導入が加速できるように成功事例を増やしていきたいです。
最後に、以前のLINEヤフー様のようにQA体制やテスト現場でお悩みの企業に向けてメッセージをいただけますでしょうか？
片山様：外部のパートナーと組むことに社内で合意を得るには、思いを伝えるだけだと説得力に欠けると思います。必ず明確な根拠と計画を一緒に提示したほうが良いでしょう。当社も事前に徹底的に現場からヒアリングして課題を明確にしました。そのうえで、解決策として外部パートナーの存在が不可欠である理由と、導入後のロードマップを提示する。このように、現場の事実を突き詰めることが、改善の第一歩だと思います。
AGESTさんは一方的に提案せず、一緒に課題に向かい合ってくれるスタンスですので、まずは一度ご相談してみることをおすすめします。
