メインコンテンツまでスキップ

不安定なテストの検出と隔離

不安定なテスト(Flaky Test)は、コードに問題がない場合でもPRをブロックします。一時的な失敗が1件発生するだけで、ログを調べたり、再実行したり、待機したりする必要が生じ、マージが遅くなり、実際のリグレッションが見えなくなります。

不安定なテストの検出Click to copy link​

特定のビルドのStepsを設定すると、失敗したテストが自動的に再実行されます。再試行でテストが成功すればビルドをグリーンにでき、そのテストは不安定(flaky)としてマークされるため、後で修正できます。Enterpriseプランをご利用の場合は、隔離することもできます。

Steps 失敗したテストの自動再実行を許可するClick to copy link​

これらのテスト Steps の入力を使うと、失敗したテストの再試行回数を指定できます。実行中にテストが失敗すると、Step は自動的にテストを再試行します。

後続の試行でテストが成功した場合、そのテストは不安定(flaky)としてマークされますが、Step 自体は成功するため、ビルドと PR のチェックは緑色になります。

これにより、変更のマージが妨げられることなく、後から不安定なテストを特定して修正するために必要なデータも得られます。

たとえば、UI テストは、ネットワークリクエストがタイムアウトしたり、アニメーションが完了しなかったりして、まれに失敗することがあります。ビルド全体を失敗させる代わりに、失敗したテストを最大 3 回再試行するように設定できます。2 回目の試行で成功すれば、PR のブロックが解除され、テストレポートでこのテストが不安定であったことを確認できます。

iOS Device Testing Step または Virtual Device Testing for Android Step のいずれかを使用する場合は、失敗したテストだけでなく、テストスイート全体が再実行されるので注意してください。

不安定なテスト検出の設定Click to copy link​

これらのテスト用Stepsの入力フィールドで、不安定なテスト検出を設定します。

Xcode Test for iOSとXcode Test without buildingClick to copy link​

StepのTest repetitionセクションで、以下の入力フィールドを設定します。

  • Test Repetition Mode:繰り返しモードを定義します。たとえば、retry_on_failureを選択すると、失敗したテストのみが再実行されます。デフォルトは、Xcode Test for iOSではretry_on_failure、Xcode Test without buildingではnoneです。そのため、後者ではモードを変更するまでテストは再実行されません。
  • Maximum Test Repetitions:テストを繰り返す最大回数です。デフォルトは3です。
  • Relaunch Tests For Each Repetition:繰り返しごとにアプリを再起動するかどうかを制御します。デフォルトはnoです。

iOSデバイステストおよびAndroid向けVirtual device testingClick to copy link​

Stepで以下の入力フィールドを設定します。

  • Number of times a test execution is reattempted:失敗したテスト実行を再試行する回数を指定します。最初は失敗しても再試行で成功した実行は、不安定(flaky)として報告されます。最大値は10で、デフォルトは0(再実行なし)です。

    iosdevicetesting-flakytests.png

    Virtual Device Testing for AndroidとiOS Device TestingStepsでのテストの実行

    Stepsはどちらも、入力で設定された回数だけ、すべてのテスト(成功・失敗を問わず)を常に再実行します。

Android Unit TestClick to copy link​

この機能は、Gradle プラグインから直接設定します。プロジェクトのbuild.gradleファイル内で、失敗したテストの再試行を有効にできます。

不安定なテストの隔離

ビルドを妨げる不安定なテストは、問題を修正するまでの間、隔離することができます。隔離の詳細を指定すると、前述のStepsが隔離済みのテストを自動的にスキップします。

不安定なテスト検出用の環境変数Click to copy link​

テスト用のStepsは、再試行が有効になっていると、どのテストが不安定な挙動を示しているかを特定するために、自動的にBITRISE_FLAKY_TEST_CASESへ値を設定するようになりました。

これらのStepsのいずれかを再試行を有効にして実行すると、個々のテスト結果が自動的に追跡されます。

  • Xcode Test for iOS (ID: xcode-test)
  • Android Unit Test (ID: android-unit-test)
  • iOS Device Testing (ID: virtual-device-testing-for-ios)
  • Virtual Device Testing for Android (ID: virtual-device-testing-for-android)
デバイステスト用Stepsの追加条件

iOS Device TestingとVirtual Device Testing for Androidでは、再試行を有効にするだけでは不十分です。Download files入力をtrueに設定する必要もあります。この入力はデフォルトでfalseになっており、設定しないと、これら2つのStepsはBITRISE_FLAKY_TEST_CASESに値を設定しません。

これらのStepsは、再試行の過程で少なくとも1回失敗し、かつ少なくとも1回成功したテストをBITRISE_FLAKY_TEST_CASES Env Varに設定します。

BITRISE_FLAKY_TEST_CASES Env Varには、不安定なテストの識別子が改行区切りのリストとして格納されます。

- TestTarget_1.TestClass_1.TestMethod_1
- TestTarget_1.TestClass_1.TestMethod_2
- TestTarget_1.TestClass_2.TestMethod_1
- TestTarget_2.TestClass_1.TestMethod_1

不安定なテスト用Env Varの活用例Click to copy link​

このEnv Varが役立つユースケースをいくつか紹介します。

  1. 不安定なテストが検出された場合にテストを失敗させる。

    steps:
    ...
    - script:    
    run_if: '{{getenv "BITRISE_FLAKY_TEST_CASES" | ne ""}}'    
    inputs:    
    - content: |-        
    #!/bin/env bash        
    echo "Build failed due to flaky tests:"        
    echo "$BITRISE_FLAKY_TEST_CASES"       
     exit 1
  2. 不安定なテストが検出された場合にSlack通知を送信する。

    steps:
    ...
    - slack:    
    run_if: '{{getenv "BITRISE_FLAKY_TEST_CASES" | ne ""}}'    
    inputs:    
    - webhook_url: $SLACK_WEBHOOK_URL    
    - text: |-        
    ⚠️ Flaky tests detected in build $BITRISE_BUILD_NUMBER:       
    $BITRISE_FLAKY_TEST_CASES
  3. GitHubの課題を自動的に作成する。

    steps:
    ...
    - script:    
    run_if: '{{getenv "BITRISE_FLAKY_TEST_CASES" | ne ""}}'    
    inputs:    
    - content: |-       
     #!/bin/env bash        
    ISSUE_BODY="Flaky tests detected in build
    $BITRISE_BUILD_NUMBER:\n\n\`\`\`\n$BITRISE_FLAKY_TEST_CASES\n\`\`\`"        
    curl -X POST \          
    -H "Authorization: token $GITHUB_TOKEN" \          
    -H "Accept: application/vnd.github.v3+json" \         
    https://api.github.com/repos/owner/repo/issues \          
    -d "{\"title\":\"Flaky tests - Build $BITRISE_BUILD_NUMBER\",\"body\":\"$ISSUE_BODY\"}"

分析サービスへのログ記録、ビルドアーティファクトへの保存、テストターゲット別の集計と分類、後続のSteps向けの環境変数の設定なども可能です。

再試行後のテスト結果と結果の扱いClick to copy link​

テストが失敗すると、Stepは設定された上限まで再試行します。以前に失敗していたテストが再試行で成功した場合、BitriseのTestsタブで不安定(flaky)としてマークされます。再試行後もテストが失敗し続ける場合、Stepは通常どおり失敗します。

再試行後にすべてのテストが成功すると、ビルドは成功し、不安定なテストは新しいテストレポートでハイライト表示されます。再試行後にいずれかのテストが失敗すると、Stepは失敗し、ビルドステータスはFAILEDになります。

PRコメントを有効にし、Flaky testsブロックを選択している場合、Bitriseは不安定なテストを、成功数と失敗数とともにプルリクエストにも投稿します。詳しくは、PRコメントでのビルドの問題の報告を参照してください。

失敗と成功の両方の実行があるテストケース

テストケースに成功と失敗の両方の実行結果がある場合、そのテストは不安定としてマークされます。ステータスの回数や順序は関係ありません。たとえば、失敗1回・成功1回・失敗1回という結果も、成功1回・失敗2回(この順序)という結果も、いずれも不安定としてマークされます。

不安定なテストの隔離Click to copy link​

この機能を使うと、テストスイート全体に影響を与えることなく、問題のあるテストを一時的に切り離すことができます。不安定なテストを隔離済みとしてマークすると、以降のビルドでBitriseがそれらをスキップするようになります。

隔離済みのテストは別のTest Quarantineタブで管理され、隔離を解除するまでビルドから除外され続けます。

Test Quarantineの利用には制限があります

この機能はEnterpriseプランでのみ利用できる点にご注意ください。また、隔離済みのテストへの読み取り・書き込み・編集のフルアクセス権を持つのは、Admin、Platform Engineer、Developerのみです。TesterおよびQA担当者は読み取り専用アクセスとなります。

たとえば、次のような場合にテストを隔離することをお勧めします。

  • テストがローカルでは成功するのに、CIでは断続的に失敗する。
  • 不安定なテストを特定したものの、すぐに修正する時間がない。
  • テストの安定性の問題を調査している間も、ビルドをグリーンに保ちたい。
  • 既知の問題のあるテストで自動再実行がビルド時間を消費するのを防ぎたい。

テストの隔離への追加Click to copy link​

予期しないビルドの失敗を防ぐため、TestsタブまたはInsightsからテストを隔離できます。

  1. TestsタブのFlakyタブに移動します。

    pipelinebuild-quarantine.png

  2. 不安定なテストの横にあるAdd to quarantineをクリックします。

  3. Edit quarantine scopeをクリックして、隔離の範囲(Workflow、Pipeline、ブランチ)を定義します。

  4. 今後の参照用に、任意でコメントを追加します。

editscope-quarantine.png

scope of quarantineの定義Click to copy link​

デフォルトでは、特に指定しない限り、隔離はプロジェクトのすべてのビルドに適用されます。フィールドを空欄にすると、すべてのブランチとすべてのターゲット(WorkflowとPipeline)でテストがスキップされます。

ブランチとターゲットで範囲を制限できます。

  • Branch(任意):ワイルドカード(*)に対応したブランチパターンをスペース区切りで入力します。例:main、release-*、feature/auth-*
  • Targets(任意):WorkflowおよびPipelineの名前をスペース区切りで入力します。例:ci、nightly-tests、release-pipeline
ブランチとターゲットを組み合わせて範囲を絞り込む

ブランチとターゲットの両方を設定した場合、テストが隔離されるのは、ブランチとターゲットの両方が一致したときだけです。過剰に対象を除外しないよう、パターンは絞り込んで指定してください。*よりもrelease-*を優先し、不安定なテストを実行する特定のWorkflowを対象にしてください。

Commentフィールドを使うと、隔離した理由を記録したり、後で理由を思い出せるようにチケットへのリンクを含めたりできます。

範囲は、隔離ダッシュボードから後で編集または削除できます。

隔離済みテストの管理Click to copy link​

CIのホームページにあるTest Quarantineタブから、隔離ダッシュボードにアクセスします。

隔離済みテストへのアクセス

隔離済みのテストへの読み取り・書き込み・編集のフルアクセス権を持つのは、Admin、Platform Engineer、Developerのみである点にご注意ください。TesterおよびQA担当者は読み取り専用アクセスとなります。

ダッシュボードには、以下が表示されます。

  • テスト名とモジュールパス。
  • テストが隔離されたビルド。
  • 隔離した日時とユーザー。
  • 各テストのInsightsへの直接リンク。

managingquarantinedtests.png

ビルドで実行されなかった隔離済みテストは、Testsタブには表示されません。隔離済みテストは、隔離を解除するまでダッシュボードに残ります。

範囲は狭く設定し、不安定な挙動が発生しているブランチやWorkflowのみを隔離することをお勧めします。将来のクリーンアップのためにコメントを残し、長期間隔離されているテストや修正済みのテストを定期的にレビューする仕組みを設けておくことも役立ちます。

隔離されたテストの Environment VariableClick to copy link​

ビルド中、Bitrise は、隔離されたテストのスコープ付きリストを $BITRISE_QUARANTINED_TESTS_JSON Environment Variable に挿入します。対応している Steps はこの変数を読み取り、該当するテストをスキップして、自動再実行の対象から除外します。カスタム Steps やテストランナーの直接呼び出しを使用する場合は、$BITRISE_QUARANTINED_TESTS_JSON を解析し、それに応じてテストランナーの引数をフィルタリングしてください。Env Var の値の例を次に示します。

BITRISE_QUARANTINED_TESTS_JSON = "[
{
testCaseName: 'EnableQuarantiningDisabledByPlan',
testSuiteName: ['UITests', 'CI', 'Settings'],
className: 'BuildSettings'
},
{
testCaseName: 'EnableQuarantiningDisabledByLDFlag',
testSuiteName: ['UITests', 'CI', 'Settings'],
className: 'BuildSettings'
}
...
]"
隔離されたテストに対応する Steps

次の Step は、指定されたスコープ内の隔離されたテストを自動的にスキップします。カスタム Step やテストランナーの直接呼び出しを使用する場合は、$BITRISE_QUARANTINED_TESTS_JSON を解析し、それに応じてテストランナーの引数をフィルタリングしてください。

カスタムStepsでのQuarantineサポートClick to copy link​

その他のStepsでは、BITRISE_QUARANTINED_TESTS_JSONのデータをテストランナーが指定されたテストをスキップできる形式に変換できます。たとえば、fastlaneのscanアクションやGradleのInitスクリプトを設定して、隔離済みテストをスキップできます。

以下はsome examplesです。

Fastlane - scanアクションの実行

BitriseのWorkflowでは、公式のBitriseFastlaneStepを使うか、ScriptStepを使うことで、fastlaneのlaneを実行できます。

どちらの方法でも、まずJSONのデータをカンマ区切りのTestTarget/TestClass/TestMethod項目のリストに変換する必要があります。

JSONのデータは、configuration YAMLファイルまたはfastlaneの設定ファイル(Fastfile)のいずれかで変換できます。

  1. この例では、ScriptStepが隔離済みテストのJSONデータをカンマ区切りのTestTarget/TestClass/TestMethod項目のリストに変換し、そのリストをBITRISE_QUARANTINED_TESTS_LIST環境変数として公開します。

    workflows:
    test:
    steps:
    ...
    - script:
    title: Convert BITRISE_QUARANTINED_TESTS_JSON
    inputs:
    - content: |-
    #!/usr/bin/env bash
    set -e

    # Read JSON from environment variable
    json="$BITRISE_QUARANTINED_TESTS_JSON"

    # Convert to array of TestTarget/TestClass/TestMethod
    test_array=($(echo "$json" | jq -r '.[] | "\(.testSuiteName[0])/\(.className)/\(.testCaseName)"'))

    # Join the array elements with a comma
    skip_testing_list=$(IFS=, ; echo "${test_array[*]}")

    # Export the comma-separated string as an environment variable to be used by following Fastlane Steps
    envman add --key BITRISE_QUARANTINED_TESTS_LIST --value "$skip_testing_list"
    - fastlane:
    inputs:
    - lane: test
    ...
  2. その後、BITRISE_QUARANTINED_TESTS_LIST変数を使って、fastlaneのscanアクションのskip testingオプションを設定できます。

    lane :test do
    ...
    scan(skip_testing: ENV['BITRISE_QUARANTINED_TESTS_LIST'].split(','))
    ...
    end
Script Step - xcodebuild testまたはtest-without-buildingの実行

この例では、BITRISE_QUARANTINED_TESTS_JSON変数の値をxcodebuildのtestコマンドまたはtest-without-buildingコマンド用のskip-testingオプションに変換します。

workflows:
test:
steps:
- script:
title: Convert BITRISE_QUARANTINED_TESTS_JSON
inputs:
- content: |-
#!/usr/bin/env bash
set -e

# Read JSON from environment variable
json="$BITRISE_QUARANTINED_TESTS_JSON"

# Convert to array of -skip-testing:TestTarget/TestClass/TestMethod
test_array=($(echo "$json" | jq -r '.[] | "-skip-testing:\(.testSuiteName[0])/\(.className)/\(.testCaseName)"'))

# Join the array elements with a space
skip_testing_list="${test_array[*]}"

# Export the space-separated string as an environment variable to be used by following Fastlane Steps
envman add --key XCODEBUILD_SKIP_TESTING_OPTION --value "$skip_testing_list"
- script:
inputs:
- content: xcodebuild test -scheme <SCHEME> -destination <DESTINATION> $XCODEBUILD_SKIP_TESTING_OPTION
Script Step - Gradleのユニットテストの実行

Gradle(/gradlew testUnitTest)経由でAndroidのローカルユニットテストを実行する場合、GradleのInitスクリプトを使って隔離済みのテストケースをスキップできます。

workflows:
test:
steps:
- script:
title: Create skip testing init script
inputs:
- content: |-
#!/bin/bash

# Script to generate Gradle init script for quarantined tests
# Reads BITRISE_QUARANTINED_TESTS_JSON environment variable and generates
# a Gradle init script that excludes the specified tests

set -ex

# Check if BITRISE_QUARANTINED_TESTS_JSON is set
if [[ -z "${BITRISE_QUARANTINED_TESTS_JSON:-}" ]]; then
echo "Error: BITRISE_QUARANTINED_TESTS_JSON environment variable is not set" >&2
exit 1
fi

# Parse JSON and extract test patterns
# Each test will be excluded using the pattern: className.testCaseName
excluded_tests=$(echo "$BITRISE_QUARANTINED_TESTS_JSON" | jq -r '.[] | .className + "." + .testCaseName')

# Generate the Gradle init script
init_script_file=./gradle_quarantine_init.gradle.kts
cat << 'EOF' > "$init_script_file"
allprojects {
tasks.withType<Test>().configureEach {
EOF

# Add filter.excludeTestsMatching lines for each excluded test
while IFS= read -r test_pattern; do
if [[ -n "$test_pattern" ]]; then
echo " filter.excludeTestsMatching(\"$test_pattern\")" >> "$init_script_file"
fi
done <<< "$excluded_tests"

cat << 'EOF' >> "$init_script_file"
}
}
EOF

# Output the path to the generated init script file
envman add --key GRADLE_INIT_SCRIPT_FILE --value "$init_script_file"
- script:
title: Run tests
inputs:
- content: |-
#!/bin/bash
set -ex
./gradlew :app:testDebugUnitTest "--init-script" "$GRADLE_INIT_SCRIPT_FILE"

Create skip testing init script Stepは、以下のGradle initスクリプトを作成します。

allprojects {
tasks.withType<Test>().configureEach {
filter.excludeTestsMatching("<package_name>.<test_class>.<test_method_1>")
filter.excludeTestsMatching("<package_name>.<test_class>.<test_method_2>")
...
}
}