MOffice

Изоляция тестов: почему тесты «моргали» и как это исправлено

Фаза 0 «Порядок», дорожка Q (план plan/report-20261010/, раздел 11). Срез — HEAD 30553e49, Mac arm64, Rust 1.97.1.

Что было

Полный прогон cargo test --workspace на Mac дал 5 741 PASS и 3 FAIL; с --test-threads=1 падения исчезали. Стресс-прогоны (один и тот же тестовый бинарник десятки раз подряд) показали, что нестабильных тестов больше трёх, а причин — шесть (пятая и шестая проявились в Linux-контейнере).

Причина Где проявлялась Падений до исправления
1. Имя временной папки pid + наносекунды filter_history (Sheets), subtotal_visibility (ядро), parent_lease (Hub) filter_history: 31 из 60 прогонов
2. flock + порождение процессов в соседних тестах dictionary_durable, dictionary_journal (Hub), spelling_async, spelling_worker, dictionary_receipt (Sheets) dictionary_durable 14/40, dictionary_journal 14/80, spelling_worker 13/80, spelling_async 16/100
3. Маркер PID читается раньше, чем записан dictionary_durable (actual_sigkill_*), parent_lease входит в 14/40 выше
4. Слишком короткий срок ожидания dictionary_failure (actual_failure_context_…) 4 из 40 на исходном коде
5. ETXTBSY на Linux: запуск только что записанного файла app::direct_launch_tests (Hub, модульные тесты) 1–3 из 6 тестов в Linux-контейнере
6. Порог времени кадра при параллельных дочерних окнах *_responsiveness (Hub, Sheets) dictionary_responsiveness на Linux: 2 из 10

Причина 1. Неуникальные имена временных папок

Фикстуры строили имя как <pid>-<наносекунды>. Часы macOS отдают время с шагом в микросекунду, поэтому два параллельных теста одного процесса, стартовавшие в одном тике, получают одно имя, и второй create_dir(..).unwrap() падает с AlreadyExists (строка 29 filter_history.rs — именно это место).

Исправление. Общий крейт kernel/crates/meridian-testkit (только std, только [dev-dependencies]):

Переведено 16 мест без счётчика: filter_history.rs, subtotal_visibility.rs, sheet_drawing.rs, meridian-file-platform (lib.rs, windows_tests.rs — проверено cargo check --target x86_64-pc-windows-gnu и x86_64-unknown-linux-gnu), corpus-tool, parent_lease.rs, Hub (app.rs, direct_launch_tests.rs, dictionary_failure.rs, dictionary_responsiveness.rs, folder_responsiveness.rs, profile.rs, recovery_responsiveness.rs, settings_responsiveness.rs, startup_responsiveness.rs). Места, где в имени уже был счётчик (NEXT.fetch_add), не трогались. Не переведены services/common и packaging/windows-launcher: это отдельные рабочие пространства со своими Cargo.lock, и в каждом по одному такому тесту без параллельных соседей.

Причина 2. flock и порождение процессов в соседних тестах

Журнал словаря Hub и Sheets берёт flock(LOCK_EX | LOCK_NB) — по замыслу без ожидания. Тесты одного бинарника идут в одном процессе и делят таблицу дескрипторов. Пока тест A держит блокировку, тест B порождает процесс: ребёнок между fork и exec получает копию дескриптора A (флаг CLOEXEC закрывает её только в момент exec). A закрывает файл, но блокировка жива, пока жива копия у ребёнка, и следующий LOCK_NB получает EAGAIN («Resource temporarily unavailable»). В Sheets та же ошибка внутри воркера превращается в сообщение «Предыдущая операция орфографии ещё выполняется».

Доказательство. Отдельная программа: один поток 4 секунды подряд открывает файл, берёт flock(LOCK_NB) и закрывает его; параллельно N потоков непрерывно запускают /usr/bin/true.

Потоков, запускающих процессы Циклов «взять — отпустить» Ложных EAGAIN
0 300 694 0
1 287 234 1 109
4 227 931 5 658
8 189 199 7 785

Без соседних запусков процессов ложных отказов нет вовсе — причина именно в наследовании дескрипторов.

Исправление. meridian_testkit::serial() — замок на весь тестовый бинарник: каждый тест, который держит блокировку словаря или порождает процессы, первой строкой берёт let _serial = meridian_testkit::serial(); и идёт один. Паника одного теста замок не «отравляет». Всего охрана стоит в 259 тестах 51 файла:

Области // BASELINE_START … // BASELINE_END (их тело переносится на старые сборки для сравнения) не тронуты.

Продуктовый код не менялся. Сначала пробовался точечный повтор вызовов при EAGAIN (233 места); он оказался неполным — блокировку берут и методы записей журнала, и воркер в отдельном процессе, — поэтому от него отказались в пользу одного понятного механизма.

Цена. Внутри этих бинарников тесты идут по одному. По журналам полных прогонов (сумма «finished in») 26 наборов с охраной занимали 23,7 с, теперь 133,1 с. В том же прогоне не тронутые наборы выросли на 46 % из-за нагрузки машины, так что чистая цена — около 100 с суммарного времени тестов. Больше всего выросли dictionary_receipt (Hub и Sheets вместе), dictionary_temporary и spelling_async — в них настоящие аварии воркеров с ожиданием. Разные бинарники cargo и так запускает по очереди. Вернуть параллельность можно будет после исправления порождения воркеров в продукте (см. последний раздел).

Причина 3. Маркер PID

QA-библиотека qa/hub-content/journal_cut.c останавливает воркер в выбранной точке и сообщает его PID файлом: open(O_CREAT | O_EXCL), затем write. Тест ждал «файл существует» и сразу читал — иногда пустую строку, и kill -KILL "" падал. meridian_testkit::read_pid_marker(path, patience) ждёт законченную строку <число>\n. Исправлено в journal_restart.rs и parent_lease.rs.

Причина 4. Срок 350 мс там, где таймаут не ожидается

actual_failure_context_distinguishes_exchange_reply_and_operation проверяет, что Hub различает стадии сбоя воркера. Для всех режимов, кроме operation, срок был 350 мс, хотя таймаут ожидается только в режиме slow. В режиме exit скрипт воркера (sh, cat, exit 42) под нагрузкой не успевал за 350 мс, и вместо (WorkerFailed, Exchange) тест получал (Timeout, Exchange). Теперь короткий срок — только у slow, остальным — 3 с (как у operation). Смысл проверки не изменился.

Причина 5. «Text file busy» на Linux

direct_launch_tests копирует свой тестовый бинарник в папку фикстуры и тут же запускает копию. Если в этот момент соседний тест порождает процесс, ребёнок между fork и exec уносит копию дескриптора записи только что скопированного файла, и Linux отказывает в запуске с ETXTBSY («Text file busy»). Это та же гонка наследования дескрипторов, что и в причине 2; на macOS такой ошибки нет. Лечение — короткий повтор запуска: meridian_testkit::spawn_retrying_busy(&mut command, patience) повторяет только при ExecutableFileBusy, остальные ошибки возвращает сразу (так же поступает сам cargo).

Причина 6. Порог времени кадра при параллельных дочерних окнах

Тесты отзывчивости поднимают настоящее дочернее окно Hub или Sheets с подставленной медленной библиотекой (LD_PRELOAD / DYLD_INSERT_LIBRARIES) и проверяют, что кадр интерфейса не дольше 300 мс. Пять таких тестов одного файла шли одновременно, и в Linux-контейнере (aarch64, отладочная сборка) кадр выходил 306–332 мс: 2 падения из 10 прогонов, а с --test-threads=1 — 0 из 10. Порог проверяет продукт, а не соседей по процессору, поэтому тесты отзывчивости тоже идут по одному (serial()); порог не менялся.

Результат

Стресс-прогоны после исправления (Mac arm64, параллельно с другими нагрузками):

Набор До После
filter_history 31 падение из 60 0 из 100
subtotal_visibility падал в полном прогоне 0 из 100
dictionary_durable 14 из 40 0 из 40
dictionary_journal 14 из 80 0 из 40
spelling_worker 13 из 80 0 из 40
spelling_async 16 из 100 (на исходном коде — 11 из 60) 0 из 40
dictionary_failure 4 из 40 0 из 80

Финальная проверка в окончательном виде кода: все затронутые тестовые бинарники по 40 прогонов — 0 падений; полный cargo test --workspace --locked: 331 набор, 5 758 прошли, 0 упали, 22 пропущены, 0 предупреждений (до работы — 5 741 и 3 падения; +14 — тесты meridian-testkit). Квитанция: evidence-test-isolation-status-center-2026-10-10.json.

Проверка на Linux

Docker на Mac, образ rust:1.97-slim (Linux aarch64, Rust 1.97.1) с пакетами procps (команда kill) и python3 (управляемый воркер spelling_async), запуск от root, как у контейнеров CI по умолчанию: затронутые крейты meridian-testkit, meridian-hub, meridian-sheets, meridian-ffi, meridian-file-platform, corpus-tool — 80 наборов, 1 245 тестов прошли, 0 упали. Тест diagnostics::read_only_destination_and_symlink_refuse_without_changing_user_files раньше падал под root (root игнорирует права 0500); теперь под root неписуемое место задаётся файлом вместо папки (ENOTDIR и у root), проверяется то же самое. Стресс на Linux: исправленные наборы — 0 падений из 30, модульные тесты Hub и Sheets — 0 из 40, все *_responsiveness — 0 из 15. Сервер sagr (x86_64) для Rust-сборки не использовался: на момент проверки он был загружен заданиями других сессий (load average 72 на 16 ядрах); Python-тесты на нём проверены (см. status-center.md).

Правила для новых тестов

  1. Временная папка — только meridian_testkit::TempDir::new("метка") или unique_path("метка"); не собирайте имя из pid и времени.
  2. Тест держит блокирующий flock без guard с LOCK_UN (настройки, недавние), порождает процессы или меряет время кадра — первой строкой let _serial = meridian_testkit::serial();. Один тест — одна охрана: не берите её дважды (замок не реентерабельный), а фикстуры не должны брать её сами — в одном тесте бывает несколько фикстур.
  3. Данные от другого процесса (маркер PID, файл готовности) читайте, когда они дописаны: read_pid_marker или собственный признак конца записи, а не «файл существует».
  4. Файл, который тест только что записал или скопировал, запускайте через spawn_retrying_busy (на Linux иначе возможен ETXTBSY).
  5. Проверка нестабильности: соберите бинарник (cargo test -p <крейт> --test <набор> --no-run) и запустите его 30–100 раз подряд; один зелёный прогон ничего не доказывает.

Тесты с порогами времени на общем раннере: очередь с повтором

В Hub и Sheets десятки тестов сравнивают время по настенным часам с абсолютным порогом (кадр ≤ 300 мс, первый кадр, ответ воркера за 1,2–1,5 с). На раннере sagr (load average 60+) отладочная сборка выходит за пороги сама по себе: 482 мс в задании 533 (dictionary_responsiveness), 422 мс в задании 534 (startup). Пороги и BASELINE-области не менялись. В just ci общий cargo test идёт без meridian-hub и meridian-sheets, а их 64 тестовых бинарника запускает scripts/run_timing_tests.py — по одному, до трёх попыток; три провала подряд — провал CI. Повтор не скрывается: отчёт перечисляет каждую попытку и показывает вывод провалившейся.

Наблюдения при проверке очереди (Mac, вместе с нагрузкой других сессий): повтор понадобился broker_recents (rpc_deadline_kills_worker_and_reconnects_on_explicit_retry: воркер не успел подняться за 1,5 с, 1 из 20), interaction (Sheets: тесты орфографии при сильной нагрузке процессора не дожидаются воркера — воспроизведено с 22 занятыми ядрами, без нагрузки 0 из 5) и dictionary_receipt (Hub, один раз). Это следующие кандидаты на исправление: заменить абсолютные пороги на сравнение с подставленной задержкой или на счётчики событий.

Связь с исправлением в продукте

Проверено по коду: в собранных приложениях блокировку словаря берут только процессы-воркеры (--dictionary-worker, --spelling-worker), а они сами процессов не порождают; процесс окна Hub или Sheets порождает воркеры, но блокировку не держит (Hub — только константы dictionary_io, Sheets — только journal::new_id()). Поэтому ложный «занято» возникал в тестах и QA-обвязке, которые вызывают журнал внутри процесса, порождающего процессы.

Исправление в самом продукте влито 15.10.2026 (дорожка S5, из рабочей копии gracious-clarke-0fc141; разбор — dictionary-lock-release.md): guard dictionary_io::Lock снимает flock явно (LOCK_UN) до закрытия файла, и копия дескриптора у ребёнка больше ничего не держит. Вместе с ним:

Ещё одна сессия («Fix flaky temp-dir name collisions», рабочая копия elastic-dirac-636f30) правит те же тестовые файлы, что и эта работа; при слиянии второй из веток нужно разрешить конфликты, оставив meridian-testkit единственным помощником временных папок.