Фоновый поиск Hub — этап H1
Работа выполняется в codex/hub-content-worker, база
e6e597f4. Общая цель остаётся полной реализацией фаз 0–8 из
плана 8 октября. Эта ветка реализует один независимый модуль фазы 2, а
не закрывает остальные фазы или приёмку офиса.
Этот документ сохраняет реализацию и приёмку H1 на
545912f5. Текущий H2 переносит metadata/version checks
внутрь worker и использует MOHC v2; подробности и отдельная квитанция —
Hub H2. Результаты H1 относятся к
его sealed source.
Причина изменения
Ранее ContentIndex::index_some вызывал DOCX/XLSX/CSV
reader внутри кадра. Ограничение «три файла за кадр» не ограничивало
время чтения одного файла. Отрицательный контроль с FIFO на исходном
коде показал блокирование на 820,6 мс при допустимом времени постановки
задачи менее 300 мс. Отказ относится к тесту на задержку, не к качеству
форматов.
Реализация
Hub запускает собственный бинарник с единственным внутренним
аргументом --content-worker, до подключения брокера и
создания окна. Один процесс обслуживает один файл; supervisor выполняет
не более одного такого процесса одновременно. UI содержит кэш и
ограниченную очередь, а worker — вызов кодека для индексирования.
Предпросмотр выбранного файла — отдельный существующий путь; H1 его не
меняет. Публичный C ABI ядра не меняется, зависимости Cargo не
добавлены.
Протокол MOHC v1 использует frame с 32-битной длиной. Ответ привязан к ID запроса, версиям файла и ключу недавних. Неверная версия, неизвестный статус, усечённый ответ, лишние данные, неверный ID или неуспешный exit не принимаются как пустой текст. Путь IPC передаётся в native encoding; C ABI для DOCX/XLSX требует UTF-8 и явно отклоняет неподдерживаемый путь вместо lossy-подстановки.
Лимиты: 8 незавершённых запросов, 200 файлов истории, 128 МиБ входа,
2 МиБ текста на файл, 50 000 ячеек книги и 32 МиБ текста в кэше.
Превышение не выдаётся за полное успешное индексирование. Кэш не
записывается на диск, текст и пути не входят в диагностический Debug.
CSV читается ограниченным потоком, не read_to_string без
верхней границы.
Worker имеет deadline 3 секунды. Unix получает собственную process
group, CPU soft/hard 2/3 секунды и нулевой core dump. Linux ограничивает
адресное пространство 512 МиБ. macOS контролирует RSS 512 МиБ через
proc_pidinfo; это наблюдаемый предел с периодом 10 мс, а не
атомарный hard limit. Windows получает Job Object с process/job
committed-memory limit 512 МиБ и KILL_ON_JOB_CLOSE. Отказ
настройки Windows job или Mac RSS probe закрывает извлечение с явным
статусом.
Очистка запроса, удаление файла из истории, новая версия и закрытие
окна отменяют pending job. UI не делает join процесса. Supervisor
убивает process group/job и reaps прямого ребёнка, включая случай
наследников с открытым stdout. Готовый ответ вызывает штатный
Waker; ожидание само по себе не требует следующего redraw.
Для headless QA/снимков есть отдельное ожидание с deadline, не
используемое нативным окном.
Строка состояния показывает поиск и число файлов, которые проверить не удалось; её текст доступен через accessibility. Поиск по имени/папке сохраняется при недоступном worker.
Проверки и воспроизведение
qa/hub-content/run_checks.py использует существующую
вычислительную FIFO-очередь Sagar. Источник заморожен manifest с SHA-256
каждого файла, image закреплён digest, mounts source/registry read-only,
сеть отключена. CPU, RAM, jobs и shares берутся из серверной политики.
Активационная блокировка не используется; product release не
выполняется. На timeout клиента свой контейнер удаляется до освобождения
compute slot. Общий registry не меняется.
Локальные проверки orchestration:
python3 -B -m unittest discover -s qa/hub-content -p 'test_*.py' -v.
Проверяются timeout/cleanup до снятия lease, изменение source и попытка
выхода manifest за корень.
Нативный system-boundary harness без ядра:
python3 -B qa/hub-content/run_native_limits.py --rustc /absolute/path/to/rustc --out target/hub-content-native-NEW.
Он компилирует фактический worker_limits.rs, проверяет CPU,
kill/reap и Mac RSS; квитанция содержит hashes source/logs и
physical_gui_rows_promoted: 0.
Полный affected gate: cargo fmt --all --check,
cargo clippy --locked --offline -p meridian-hub --all-targets -- -D warnings,
cargo test --locked --offline -p meridian-hub -- --nocapture.
Integration tests читают реальные CSV/DOCX/XLSX через отдельный Hub.
Lifecycle fixtures проверяют malformed/oversized reply, crash, wrong ID,
timeout, cancellation/drop, stale nanosecond stamp, bounded queue,
descendants, wake и повторный запрос после сбоя. Отдельно проверены
cache budget и accessibility ошибки.
Что остаётся до закрытия H
H1 affected gate принят на Sagar 8 октября, 19:43 МСК: fmt PASS, Clippy PASS, 56 Rust tests PASS, 0 failed/ignored. До и после проверки совпали SHA-256 всех 2360 файлов sealed source. Нативный system-boundary harness на macOS прошёл 3 теста; Python orchestration — 3 теста. Квитанция H1 фиксирует отдельный тестируемый patch относительно базы, а не переносит старый PASS на будущую интеграцию.
H1 пока не принимается как полностью фоновый поиск:
metadata/version checks ещё выполняются в UI-потоке и могут
задержаться на сетевом filesystem. Их требуется вынести за process
deadline, сохранив cache invalidation и отбрасывание stale ответа. Это
известный следующий срез, а не свойство уже исправленного кодека.
До принятия всего H также нужны реальные Hub runtime на Mac/Windows, Windows Job Object cleanup и работа без установленного worker/после упаковки, нагрузка на крупные файлы и сетевые источники, замер кадров и отмены в окне. Нативный limits harness не заменяет эти случаи и не увеличивает приёмку 48 физических строк.
Связь с полным планом
Фаза 0: изоляция этой ветки, sealed source и application-specific проверки; интеграция с текущими готовыми ревизиями выполняется после affected gate. Фаза 1 остаётся открытой по visual/numeric/native/user40 и сохранности форматов. Фаза 2 продолжает H, диаграммы, сводные, сложную печать, performance, локализацию, диагностику и шаблоны. Фаза 3 требует подписей, общей версии пакетов, rollback/backup, физических сценариев и пилота.
Фазы 4–8 сохраняются целиком: scene/Slides/Draw; Math/PDF/Paint; Notes/Forms/Base/Mail; sync/collaboration; Script/Assist/extensions. Для каждой необходимы рабочий продуктовый срез, независимые input/expected, отрицательный контроль исправляемого дефекта, open/edit/Undo/save/reopen и профильные recovery/security/runtime gates. Появление этого worker не подтверждает готовность ни одной из этих фаз.
Системные контракты
Windows ABI: Basic
limit information, Extended
limit information, SetInformationJobObject.
Darwin ABI: XNU
proc_info.h, proc_taskinfo,
PROC_PIDTASKINFO=4.