欠陥のあるテストの検出と隔離

Bitriseのワークフローでは、公式のBitriseを使ってファストレーンレーンを実行することができます。 ファストレーン ステップ 1 または a を使用する スクリプト ステップ。

いずれのシナリオでも、最初に JSON データをカンマで区切られたリストに変換する必要があります。 TestTarget/TestClass/TestMethod アイテム。

JSON データは、設定 YAML ファイルまたは fastlane 設定ファイル () のいずれかで変換できます。Fastfile)。

コンフィギュレーション YAML

ファストファイル

この例はを変換します BITRISE_QUARANTINED_TESTS_JSON 変数の値は skip-testing xcodebuild のオプション test または test-without-building コマンド。

workflows:
  test:
    steps:
    - script:
        title: Convert BITRISE_QUARANTINED_TESTS_JSON
        inputs:
        - content: |-
            #!/usr/bin/env bash
            set -e

            # Read JSON from environment variable
            json="$BITRISE_QUARANTINED_TESTS_JSON"

            # Convert to array of -skip-testing:TestTarget/TestClass/TestMethod
            test_array=($(echo "$json" | jq -r '.[] | "-skip-testing:\(.testSuiteName[0])/\(.className)/\(.testCaseName)"'))

            # Join the array elements with a space
            skip_testing_list="${test_array[*]}"
            
            # Export the space-separated string as an environment variable to be used by following Fastlane Steps
            envman add --key XCODEBUILD_SKIP_TESTING_OPTION --value "$skip_testing_list"
    - script:
        inputs:
        - content: xcodebuild test -scheme <SCHEME> -destination <DESTINATION> $XCODEBUILD_SKIP_TESTING_OPTION

Gradle を使用して Android ローカルユニットテストを実行する場合 (/gradlew testUnitTest)、Gradle Init スクリプトを使用すると、隔離されたテストケースをスキップできます。

workflows:
  test:
    steps:
    - script:
        title: Create skip testing init script
        inputs:
        - content: |-
            #!/bin/bash

            # Script to generate Gradle init script for quarantined tests
            # Reads BITRISE_QUARANTINED_TESTS_JSON environment variable and generates
            # a Gradle init script that excludes the specified tests

            set -ex

            # Check if BITRISE_QUARANTINED_TESTS_JSON is set
            if [[ -z "${BITRISE_QUARANTINED_TESTS_JSON:-}" ]]; then
                echo "Error: BITRISE_QUARANTINED_TESTS_JSON environment variable is not set" >&2
                exit 1
            fi

            # Parse JSON and extract test patterns
            # Each test will be excluded using the pattern: className.testCaseName
            excluded_tests=$(echo "$BITRISE_QUARANTINED_TESTS_JSON" | jq -r '.[] | .className + "." + .testCaseName')

            # Generate the Gradle init script
            init_script_file=./gradle_quarantine_init.gradle.kts
            cat << 'EOF' > "$init_script_file"
            allprojects {
                tasks.withType<Test>().configureEach {
            EOF

            # Add filter.excludeTestsMatching lines for each excluded test
            while IFS= read -r test_pattern; do
                if [[ -n "$test_pattern" ]]; then
                    echo "        filter.excludeTestsMatching(\"$test_pattern\")" >> "$init_script_file"
                fi
            done <<< "$excluded_tests"

            cat << 'EOF' >> "$init_script_file"
                }
            }
            EOF

            # Output the path to the generated init script file
            envman add --key GRADLE_INIT_SCRIPT_FILE --value "$init_script_file"
    - script:
        title: Run tests
        inputs:
        - content: |-
            #!/bin/bash
            set -ex
            ./gradlew :app:testDebugUnitTest "--init-script" "$GRADLE_INIT_SCRIPT_FILE"

ザ・ Create skip testing init script ステップは次の Gradle init スクリプトを作成します。

allprojects {
    tasks.withType<Test>().configureEach {
        filter.excludeTestsMatching("<package_name>.<test_class>.<test_method_1>")
        filter.excludeTestsMatching("<package_name>.<test_class>.<test_method_2>")
        ...
    }
}