AI搭載プロダクトと検証
「AI」というワードが頻繁に検証業界でも話題に上がるようになって久しいですが、ディープラーニングの発明と急速な普及により、「AI」と検証業界は様々な関わりを持つようになってきています。今回は「AI」と「検証」との関わりの中で、「AI」を搭載したプロダクトの品質を検証会社としてどのように検証していくのか、について考えていきたいと思います。
1. AIとは
現在、「AI」は我々にとって非常に身近な存在なものとなりましたが、「AI」という言葉を耳にした時、どのような印象をお持ちでしょうか。
自動掃除ロボット、スマートフォンなどに搭載されている音声アシスタント機能……などが「AI」を活用した身近な例として挙げられることが多いと思います。しかし、「AI」機能を活用している製品は思い浮かべられても、実際にどのようなものなのかを認識されている方は少ないように思います。
「AI」とは、Artificial Intelligence(アーティフィシャル・インテリジェンス)の略称で、計算機科学者・認知科学者のジョン・マッカーシー教授によって、1956年に初めて提唱されました。
一般社団法人 人工知能学会では、ジョン・マッカーシー教授の言葉を『知的な機械、特に知的なコンピュータプログラムを作る科学と技術』と紹介しています。
しかし、現在では研究者毎に「AI」という言葉の定義が異なり、様々なものが「AI」と定義され、様々な分野でその技術が活用されています。
2. AI学習データとは
「AI」を活用した機能開発で現在主流となっているものは、「AI」がビッグデータから機械学習をし、定義された特徴量をディープラーニングし、その結果を活用することです。「AI」を活用して機能を動作させるには、機能を想定通り動かすようにするための「学習データ」が必要不可欠となります。
「AI」を活用した機械学習モデルの開発において、いかに質の良い学習データをより多く準備でき、データクレンジングを行い、機械学習モデルの精度を向上していけるかが、プロジェクトの成功に関わります。
「AI」がビッグデータから機械学習を行うにあたり、「人間」による学習データのデータクレンジング作業も非常に重要で、適切でない学習データが大量にあることで「AI」機能の精度が低下したり、誤ったものを正しいものと学習したりしてしまうので、「本来やりたかったことが充分にできない」ということが少なからずあります。
『「AI」を活用することにより、コンピューターが何でもやってくれる』という印象を受ける方も少なくないと思います。しかし、その前提として、「人間」が準備した質の良い学習データを「AI」に機械学習させて初めて、「AI」機能の恩恵を受けることができます。
3. AIが搭載されたプロダクトの検証
「AI」搭載プロダクトの検証というと、従来型の開発機能検証とは異なるように感じ、機能検証のイメージがつきづらいもののように思われがちですが、『「AI」の判定が、成功している/失敗している』という、「AI」の回答の確からしさについての検証をメインにしていないことが多い印象です。
「「AI」の回答の確からしさ」を検証することよりも、あくまでも『「AI」が搭載されたプロダクトが必要十分に動作しているか』という従来の開発機能検証に加え、『「AI」が導き出した結果に対する、精度調整の為の検証』が求められることが多い印象です。
「AI」搭載プロダクトの検証時には、『「AI」に、こういう時にはこういう結果を導き出してほしい』という、細やかな観点の整理と学習データのラベリングが非常に重要であり、「AI」搭載プロダクトの開発プロジェクトの成功には、従来以上に各ステークホルダーと密に連携を取り、関係者間での相互認識を合わせた上での、検証が非常に重要となります。
「AI」が搭載されているプロダクトによっては、様々な環境で動作されることもあります。「AI」が「こうあるべき」という回答を示してプロダクトが動作しても、そもそもの「AI」の学習データ量が不十分である/学習データが一部誤っていた、などの理由で、実際にプロダクトをリリースするタイミングでは「AI」学習データを元に定義した閾値によっては、ユーザー目線では使いづらい、などということもあります。
「AI」搭載プロダクトの検証で一番求められることは、従来の開発検証でも度々行われてきたユーザビリティ検証のように、「AI」が搭載されたプロダクトに対する様々なユースケースを想定し、その環境下で実際に搭載されたプロダクトを確認し、「AI」が導き出した結果に対する調査並びに報告、各ステークホルダー間で認識を合わせた上での「AI」の学習データの調整、「AI」が導き出す結果の精度調整、以降の「AI」が導き出す結果の精度向上に向けた、より精度の高い学習データの収集のためのプランニング・・・(以降繰り返し)といった従来型以上の検証プロセスが求められます。
「AI」とは、あくまで「人間」を快適にサポートしてくれる機能であり、「人間」が用意した学習データを元に回答を導き出すものです。「AI」搭載プロダクトの検証としては、「この時にはこうしたい」という観点を「人間」が十分に整理し、「AI」が導き出した結果を「人間」が搭載プロダクトを通じて検証することで、「AI」が導き出した結果を十分に活用した、品質が担保されたプロダクトを世の中に送り出すことが出来ます。
4. まとめ
現在では研究者毎に「AI」という言葉の定義が異なり、様々なものが「AI」と定義され、様々な分野でその技術が活用されている。
現在主流となっているものは、「AI」にビッグデータから機械学習をさせるものであり、精度の高い結果を得るためには、質/量が伴った学習データが必要不可欠である。
「AI」搭載プロダクトの検証には、「人間」が充分に情報を整理した上で、「AI」が導き出した答えを「人間」が検証していくことが必要不可欠である。