機械メーカー様

概要

機械メーカー様ではリグレッションテストを手動で行っており、その項目数は約1,050に及んでいました。テストの実行精度向上と効率化を目指し、トーテックアメニティからテスト実行の自動化を提案しました。

機械メーカー様が作成されたテストケースは手順や期待値が明確に記載されていないことが多く、テスト設計時の意図と異なるテストを実行するリスクがありました。テスト自動化の準備としてテストケースの内容を明確にして属人性を排除し、テストを効率化するために「Robot Framework」と「Appium」を取り入れたテスト自動化を行いました。手動で繰り返し実施していたリグレッションテストを自動化し、トータルの工数を大幅に削減できました。

機械メーカー様からは、「今回のテスト自動化プロジェクトの取り組みは、他のモバイル端末と連携する製品にも展開できる」と高い評価をいただきました。

ご要望

機械メーカー様からはテスト自動化の実装にあたり、以下のご要望がありました。※一例

• テスト手順を自動で実行するだけでなく、合否判定も自動化してほしい。
• ある項目で不具合が発生しても、次の項目を継続して実施してほしい。
• テスト実行時のエビデンスとして、アプリの画面キャプチャを取得してほしい。
• テスト実施中にロボットが動作しなくなった場合は、自動でロボットを再起動してテストを再開できるようにしてほしい。

また、上記のような自動テストの運用に関するご要望に加え、「安価なツールを使用し、かつ自社内でテスト内容のメンテナンスができること」というご要望をいただきました。

解決策

今回のテスト自動化プロジェクトでは、オープンソースである「Robot Framework」と「Appium」を取り入れ、ツール購入のコストをかけずにお客様のご要望に沿ったテスト自動化を実現しました。また、Robot FrameworkはPythonベースのキーワード駆動型テスト自動化フレームワークであるため高いプログラミング知識を必要とせず、機械メーカー様でのメンテナンスが可能となりました。


【テスト自動化モデル イメージ】

効果

手動によるテストでは、1回あたり0.8人月の工数がかかっていました。一方、自動化によるテストでは、初期に自動化実装工数が2.5人月必要でしたが、その後の1回あたりの工数は結果確認の0.3人月に削減されました。
テスト回数が増えるにつれて、手動テストの工数は回数に比例して増加し、10回のテストでは8人月に達します。一方、自動テストの工数は初期に2.8人月かかりましたが、1回あたりの工数が減ることで同じ10回のテストでも5.5人月にとどまります。
6回目のテストで自動化による工数上のメリットが発生し、テスト回数の増加に比例して効果が増大しました。



また、テスト自動化を行うにあたり、テスト内容を明確に定義し全てのテストケースが一貫して正確に実行されるようになりました。
そのため、テストミスによる流出不具合が大幅に減少しました。

今後の展望

今回のテスト自動化プロジェクトについて、機械メーカー様から高い評価をいただきました。「今回のテスト自動化プロジェクトの取り組みは、他のモバイル端末と連携する製品にも展開できる」との評価を受け、今後のさらなる展開が期待されています。

関連資料・関連リンク