不安定なテストの追跡
不安定なテスト(フレーキーテスト)は、モバイル開発者を悩ませ続ける厄介な問題です。コードを変更していないにもかかわらず異なる結果を出す失敗したテストは、混乱や手戻りを引き起こし、時間のかかる苛立たしいデバッグ作業につながります。フレーキーテストを解消することは、安定した信頼性の高いテストプロセスを実現するために不可欠です。この記事では、Bitrise Insightsを使ってフレーキーテストを追跡することの重要性と、その原因を診断する方法について説明します。さらに、Bitrise Insightsがどのようにフレーキーテ ストを検出するか、そして開発者がこのツールを使ってテストの不安定さを追跡、特定、診断する方法についても解説します。
フレーキーテストを追跡することの重要性Click to copy link
まず、フレーキーテストとは何か、どのように判定されるのかを見てみましょう。コードを変更していないにもかかわらず異なる結果を出すテストは、フレーキーであると言えます。例えば、次のシンプルなコードは、コードを変更していなくても、失敗することもあれば成功することもあります。
randNum := r1.Intn(100)
require.Equal(t, true, randNum > 40, "More than 40?")
フレーキーテストは失敗したテストの特殊なケースであり、おそらく最も修正が重要なものです。
フレーキーテストは、開発者を悩ませ続ける厄介な問題です。これは、行ったコード変更が意図したとおりに機能している場合でも、混乱や手戻りを引き起こす可能性がある特殊なタイプの失敗したテストです。他の失敗したテストとは異なり、フレーキーテストは一見関係のないコード部分で失敗を引き起こすことがあり、時間のかかる苛立たしいデバッグ作業につながります。フレーキーテストを修正することは、安定した信頼性の高いテストプロセスを実現するために不可欠です。
フレーキーテストを解消することは、時間の浪費を防ぐためだけでなく、テストに対する開発者の信頼性を高めるためにも重要です。テストがランダムに失敗すると、開発者は次第にテストの失敗を無視するようになってしまいます。
Bitrise Insightsは、同じコードの状態に対してテストが一貫しない結果を出した場合にそれを検出します。コードのコミットハッシュ情報が指定された状態でトリガーされたビルド(通常、手動トリガーおよびスケジュールビルドを除くすべてのビルドが該当します)については、ビルド間でもこれを検出できます(コミットハッシュが同じであるにもかかわらず、同じコミットハッシュに対してテストが複数の異なる結果を出した 場合)。Insightsは、ビルドがトリガーされた時点でコミットハッシュが指定されていなかった場合(手動ビルドやスケジュールビルドでよくあるケース)でも、同一ビルド内で同じテストが複数回実行されていれば、そのビルド内のフレーキーテストを検出できます。
フレーキーテストを見つけるClick to copy link
Bitrise Insightsを開くと、Overviewページが表示されます。ここから、フレーキー度の高いテストの上位3件を表示するBottlenecksページに移動するか、EXPLOREセクションにあるTestsページでフレーキーテストをすべて一覧表示してフィルタリングすることができます。これにより、フレーキーテストの追跡と調査が容易になります。
フレーキーテストは、一部のStepsを使用して特定し、隔離できます。
まずBottlenecksページを確認しましょう。Bottlenecksページを開くと、過去7日間にBitrise Insightsが検出したすべてのネガティブな傾向や問題が表示されます。フレーキーテストを確認する際は、Flakinessセクションを使用できます。

このBottlenecksセクションには、過去7日間で最もフレーキーな実行回数が多かったテストケースが一覧表示されます。いずれかをクリックすると、Testsページの該当セクションに移動します。
別の方法として、Testsページに移動し、Flaky runsメトリクスタブに切り替える方法もあります。

他のTestsメトリクスページと同様に、2つのグラフが表示されます。上部のグラフには、設定したフィルターに基づくデータが常に表示されます。下部のグラフは内訳グラフと呼ばれ、フィルタリングした内容よりも「1段階深い」データを表示します。
Workspace内にアプリが1つしかない場合、Exploreページのいずれかを開くとBitrise Insightsが自動的にそのアプリを選択します。workspace内に複数のアプリがある場合、Testsページを開くと、上部のグラフにはその特定のworkspace内のすべてのアプリにおけるworkspaceの全体的なフレーキー実行回数が表示されます。
この場合、下部のグラフには同じデータがアプリごとに表示されます。これにより、選択した期間内でどのアプリが最もフレーキーな実行回数を記録したかを確認できます。

ここで、内訳グラフを見ると、このworkspace内で最も多くのフレーキーテスト実行が あったアプリケーションがあることがわかります。そのアプリにフィルタリングすると、次のレベルでテストスイートごとの内訳が表示されます。
上部のグラフには、選択したフィルターのビュー、つまりこの場合は選択したアプリのフレーキーテスト実行が表示されます。下部の内訳グラフでは、最もフレーキーテスト実行が多かったテストスイートを確認できます。
もう少し詳しく調べるために、そのテストスイートにフィルタリングしてみましょう。

上部のグラフにはこのフィルタリングが反映され、内訳グラフはブランチごとのフレーキー実行回数に切り替わります。グラフの下にはTest casesリストが表示されます。これは、上部で設定したフィルターと、右上で設定した期間/日付範囲に基づいてフィルタリングされています。
このTest casesテーブルを使用すると、選択した期間、アプリ、テストスイートにおいて、どのテストケースが最も頻繁にフレーキーであるか(Flaky rate)、またはどのtest caseが最もフレーキー実行回数が多かったか(Flaky runs)を確認できます。

調査を続けるには、最もフレーキー実行回数が多かったtest caseを選択します。
これにより、この特定のテストケースのみに焦点を当てるための関連フィルターが設定されます。その結果、上部のグラフにはこの特定のテストケースのフレーキー実行の傾向のみが表示されるようになります。
グラフの下では、Bitrise Insightsが自動的にRelated test case runsタブに切り替わります。

Related test case runsテーブルには、特定のビルド内、または同じコミットハッシュを持つビルド間で、一貫しない結果となったテストケースの具体的な実行が一覧表示されます。この例でわかるように、testFlakyFeature()テストケースは、同じコミット(コミットf74ca14およびc84f1fd)に対して成功と失敗の両方の結果を記録しています。
Related test case runsテーブルを使用すると、この特定のテストケースの過去のフレーキー実行、その実行時間、成功したかどうかをすべて確認できます。テスト実行のポップアップにあるボタンを使用すると、該当するビルドのページや該当するテストレポートのページにすばやく移動し、そこで調査を続けることができます。

フレーキーテストを注視して修正することで、アプリ開発プロセス中の時間の浪費を減らし、チーム全体のテストに対する信頼性を高めることができます。