MOffice

Блокировка словаря и порождение процессов: явное снятие flock

Влито в main 15.10.2026 дорожкой S5 (план 15.10, задача Q1); serial() с тестов словаря снят, см. test-isolation.md, раздел «Связь с исправлением в продукте».

10 октября 2026. База — 30553e49. Mac arm64 (Darwin 27, Rust 1.97.1) и Linux aarch64 в Docker (ядро 6.12 linuxkit, glibc 2.41, Rust 1.97/1.99).

Итог

Ложное «Предыдущая операция орфографии ещё выполняется» (Failure::Busy) возникало, когда процесс, только что закончивший операцию со словарём, в это же время порождал дочерний процесс. Исправлено в одном месте — guard блокировки dictionary_io::Lock: при освобождении он снимает flock явно (LOCK_UN) и только потом закрывает файл. Запуск воркеров, pre_exec, лимиты ресурсов и семантика LOCK_NB не менялись. Код общий: Sheets подключает dictionary_io.rs из Hub через #[path], поэтому исправление действует в Hub, в Sheets и в журнале намерений обоих.

Механизм

flock принадлежит открытому описанию файла (open file description), а не дескриптору и не процессу. fork копирует таблицу дескрипторов: ребёнок ссылается на то же описание. Флаг O_CLOEXEC закрывает копию только в момент exec. Пока ребёнок находится между fork и exec, close в родителе блокировку не снимает — она живёт, пока жива последняя ссылка на описание. Следующая попытка flock(LOCK_EX | LOCK_NB) — в этом же процессе или в любом другом — получает EWOULDBLOCK, и воркер Sheets превращает его в Failure::Busy (ui/meridian-sheets/src/spelling_worker.rs), а воркер Hub — в reason = 2.

flock(fd, LOCK_UN) снимает блокировку с самого описания. Копия у ребёнка остаётся до exec, но уже ничего не держит.

Где это достижимо

Проверено по коду:

Поэтому в текущей сборке приложений сочетание «держит блокировку и порождает процессы» возникает только там, где библиотечный API (meridian_hub::dictionary_io, dictionaries::set_custom_words, meridian_sheets::dictionary_io) вызывается в процессе, который параллельно порождает процессы: тестовые бинарники, QA-обвязка и любой будущий вызов из процесса окна. Именно это давало «моргание» тестов (документ test-isolation.md, раздел «Связь с исправлением в продукте»). Последствие межпроцессное: копия у ребёнка процесса A ломает LOCK_NB воркера в процессе B — этот путь и проверяет сквозной тест ниже. Исправление закрывает класс целиком и не зависит от того, кто и как порождает процессы.

Замеры

Программа qa/flock-spawn-race/race.rs: один поток 4 секунды подряд открывает файл, берёт flock(LOCK_EX | LOCK_NB) и закрывает его; четыре потока непрерывно запускают /bin/sh -c : выбранным способом. Ложный отказ — любой EWOULDBLOCK: другого держателя нет.

Способ порождения macOS: порождений / ложных отказов Linux: порождений / ложных отказов
нет порождений 0 / 0 (239 819 циклов) 0 / 0 (4 709 402 цикла)
Command std (macOS и glibc: posix_spawn) 4 035 / 1 377 46 163 / 1 644 050
Command + pre_exec (fork, как наши launchers) 3 327 / 11 178 28 162 / 2 057 872
posix_spawn + POSIX_SPAWN_CLOEXEC_DEFAULT (macOS) / posix_spawn (glibc) 3 188 / 1 286 47 960 / 1 518 063
fork + close_range(3, ~0) первым делом в pre_exec — 25 407 / 1 565 183
«ограда» RwLock + fork 2 546 / 0 (30 341 цикл) 42 287 / 0 (1 цикл)
«ограда» RwLock + std 2 635 / 0 (107 734 цикла) 41 939 / 0 (623 цикла)
std + явный LOCK_UN 4 633 / 0 (172 770 циклов) 51 389 / 0 (3 519 132 цикла)
fork + явный LOCK_UN 3 593 / 0 (178 356 циклов) 32 753 / 0 (3 305 730 циклов)
posix_spawn + CLOEXEC_DEFAULT + явный LOCK_UN 3 348 / 0 (202 772 цикла) 53 751 / 0 (3 579 266 циклов)

Ранний прогон с /usr/bin/true и восемью потоками дал ту же картину: без LOCK_UN — тысячи (macOS) и миллионы (Linux) ложных отказов при любом способе порождения, с LOCK_UN — ноль.

Рассмотренные варианты

  1. Порождать воркеры без наследования дескрипторов (posix_spawn с POSIX_SPAWN_CLOEXEC_DEFAULT на macOS, close_range перед exec на Linux). Отклонено замером. И XNU, и Linux сначала копируют таблицу дескрипторов (вместе с CLOEXEC) и закрывают их только при активации нового образа: posix_spawn с CLOEXEC_DEFAULT даёт 1 286 ложных отказов на macOS, glibc posix_spawn — 1,5 млн на Linux, close_range в pre_exec — 1,6 млн (копия уже взята в fork). Окно лишь сужается по сравнению с fork. Вдобавок posix_spawn не умеет setrlimit и снятие CLOEXEC с lease-дескриптора — пришлось бы переносить лимиты в сам воркер.
  2. Короткий ограниченный повтор LOCK_NB внутри воркера. Отклонено. Лечит симптом там, где он виден, но не причину: задерживает и настоящее «занято», не помогает вызовам в процессе и становится ненужным при варианте 3. Существующий тест «настоящий держатель — WouldBlock быстрее 100 мс» (ui/meridian-hub/tests/dictionary_io.rs) остаётся верным без изменений.
  3. «Ограда» в процессе (держатель блокировки — читатель RwLock, порождение — писатель). Ложных отказов нет, но отклонено: связывает все порождения процесса со словарём, не покрывает порождения в обход ограды (тесты, системные библиотеки) и морит голодом держателя при частых порождениях — на Linux один цикл блокировки за 4 секунды.
  4. Явный LOCK_UN при освобождении. Выбрано. Причина устраняется у владельца блокировки: её срок жизни больше не зависит от чужих копий описания. Работает при любом способе и любом источнике порождения, без ожиданий и без изменений в запуске воркеров.

Что изменено

ui/meridian-hub/src/dictionary_io.rs:

Все вызывающие места — let _lock = lock(dir)?; в пределах одной функции; дескриптор блокировки никуда не передаётся. Windows не затронута: там блокировка — share_mode(0), а дескрипторы File создаются ненаследуемыми.

Контракт журнала и LOCK_NB

Регрессионные тесты

  1. ui/meridian-hub/src/dictionary_io/lock_tests.rs — детерминированный, выполняется и в Hub, и в Sheets (общий модуль). Ребёнок «паркуется» в pre_exec (после fork, до exec) с копией дескриптора удерживаемой блокировки. Тест проверяет: при живом владельце — WouldBlock; после его освобождения add() проходит. Ребёнок отпускается через EOF на сокете, в том числе при панике.
  2. ui/meridian-sheets/tests/spelling_lock_release.rs — сквозной, отдельный бинарник. Два потока непрерывно порождают процессы через fork (как launchers; ребёнок 2 мс между fork и exec). 40 раундов: «сосед» в процессе теста завершает dictionary_io::add, затем настоящий --spelling-worker выполняет Add. Записи последовательны, поэтому любое «занято» — ложное. Около 1,2 с.

Чтобы доказать, что тесты ловят ошибку, исправление временно отключалось (вызов LOCK_UN заменялся пустышкой), затем возвращалось:

Проверка Без исправления С исправлением
macOS, lock_tests в Hub, 10 прогонов 10 падений (Os { code: 35, kind: WouldBlock }) 0
macOS, сквозной тест, 5 прогонов 5 падений: 30, 25, 26, 31, 24 ложных Busy из 40 0 падений, 0 Busy
macOS, сквозной тест без паузы 2 мс, 5 прогонов 5 падений: 15, 18, 11, 17, 9 из 40 0
Linux, lock_tests в Hub и Sheets, по 10 10 и 10 падений 0 и 0
Linux, сквозной тест, 5 прогонов 5 падений: 33, 28, 26, 27, 24 из 40 0 падений, 0 Busy

Пауза 2 мс в сквозном тесте моделирует медленный exec большого или загруженного процесса. Без неё старый код тоже падает в каждом прогоне, но пауза делает обнаружение регресса практически гарантированным и на быстрых машинах.

Побочный эффект: тесты словаря без serial()

В этой ветке охраны тестов meridian_testkit::serial() нет, поэтому видно, что исправление продукта само убирает «причину 2». Каждый бинарник — 40 параллельных прогонов подряд на Mac, чистый 30553e49 против исправления:

Тестовый бинарник 30553e49 С исправлением Чем падал 30553e49
Hub dictionary_journal 8/40 0/40 все 8 — WouldBlock
Hub dictionary_durable 22/40 8/40 16 — WouldBlock, 6 — маркер PID; после исправления все 8 — маркер PID
Sheets spelling_worker 6/40 0/40 5 — Failure::Busy, 1 — без сообщения
Sheets spelling_async 11/40 0/40 WouldBlock и ложный «пропуск» в диалоге после «занято»
Sheets dictionary_receipt 18/40 0/40 все 18 — WouldBlock

Оставшиеся падения dictionary_durable — «причина 3» (маркер PID читается раньше, чем записан, journal_restart.rs:354); к блокировке они не относятся.

Полный just ci (fmt, clippy -D warnings, cargo deny, тесты workspace и services, Python-проверки, схема, сайт) с RUST_TEST_THREADS=1 прошёл: 334 набора, 5 758 тестов, 0 падений, 22 пропущены. В обычном параллельном режиме три прогона Hub/Sheets/broker дали только «причину 1» (имя временной папки pid + наносекунды, AlreadyExists) в direct_launch_tests.rs, filter_history.rs, parent_lease.rs — их переводит на meridian_testkit дорожка Q. Такая же ошибка в ui/meridian-broker/tests/unix_runtime.rs (12/40 падений) в её список не входила и исправлена здесь счётчиком процесса в имени (0/60 после исправления).

Что не меняли

Как воспроизвести

cargo test -p meridian-hub --lib lock_tests
cargo test -p meridian-sheets --lib lock_tests
cargo test -p meridian-sheets --test spelling_lock_release
rustc -O --edition 2024 qa/flock-spawn-race/race.rs -o target/flock-spawn-race
target/flock-spawn-race fork 4 4
target/flock-spawn-race fork 4 4 unlock