QA нативных сценариев, скорости Sheets и визуальной точности
Проверки разделены на два независимых контура. Нативная матрица доказывает поведение готового кандидата в реальном окне ОС. Локальный benchmark измеряет операции Sheets через публичные API приложения и книги. Компиляция, headless-кадр и внутренний ввод событий полезны как smoke, но не заменяют действия пользователя, системный IME, screen reader и снимок окна ОС. Строгий визуальный корпус отдельно сравнивает результат рендеринга DOCX с эталоном LibreOffice и не подменяется успешным открытием файла.
Строгий визуальный корпус DOCX
scripts/release_visual_corpus.py выбирает все 399
положительных DOCX из точного манифеста, проверяет SHA-256 и чистоту
исходников, строит эталоны и сравнивает до 12 страниц каждого документа
при 72 dpi. Для каждого документа LibreOffice получает отдельный профиль
и только шрифты из репозитория. Квитанция эталона schema 3 фиксирует
версию движка, SHA-256 и внутренние имена всех TTF, а также статические
и найденные в OOXML подстановки. Положительные защищённые документы
входят с шестью публичными тестовыми паролями; внешний редактор получает
расшифрованный продуктовым кодеком OOXML-пакет, а не пароль. Для
PASS требуется, чтобы не менее 60% всех сопоставленных
страниц имели SSIM не ниже 0,95.
python3 scripts/release_visual_corpus.py \
--docx tests/corpus/private/docx \
--xlsx tests/corpus/private/xlsx \
--out target/parallel-visual-corpus/runЧистый запуск f06aa84c5eefdb0f445add57042e92dfdb5769da
дал FAIL: для 383 сопоставимых документов и 1272
страниц порог прошли 402 страницы, то есть 31,60% при требуемых 60%.
Средний SSIM равен 0,7610, строгий SSIM по чернилам — 0,3327; число
страниц совпало у 357 документов, у 26 не совпало. Результат вырос с
прежних 22,43% до 25,36% после изоляции шрифтов, затем до 28,74% после
исправления baseline и до 29,38% после исправления эталонов защищённых
файлов. Восстановление всех соседних w:body вместо чтения
только первого подняло результат до 29,54%:
MultipleBodyBug.docx теперь совпадает 3/3 страницы с SSIM
0,9999 на каждой. Текстовый fallback OMML теперь показывает формулы и
строки матрицы, сохраняя исходный OMML для round-trip; у
stress007.docx SSIM первой страницы вырос с 0,7772 до
0,7944, но требуемая вторая страница пока не воспроизводится.
Исправление правила межабзацного интервала Word — максимум
after предыдущего и before следующего —
подняло итог с 29,59% до 31,60% и сократило расхождения числа страниц с
33 до 26. Из 70 затронутых документов 56 улучшили средний SSIM; восемь
приблизились к эталонному числу страниц, ни один не удалился от него.
delins.docx стал 1/1 вместо 2/1 страниц, а
919819.docx — 8/8 вместо 10/8.
Защищённый контейнер перед конвертацией теперь раскрывается тем же
codec-ooxml, которым его читает продукт. Поэтому
LibreOffice видит внутренний OOXML, а не ошибочно определённый старый
DOC. protected_upper_case.docx и
bug53475-password-is-pass.docx изменились с ложных 1:12 на
честные 1:1 и прошли с SSIM 0,9997 и 0,9987. Из общего сравнения удалены
22 несуществующие страницы; пароль не передаётся внешнему приложению.
Визуальный gate всё ещё провален.
LibreOffice 26.8.0.3 не смог построить пригодный эталон для 16
хэш-привязанных входов. Для 15 fuzz, truncated, security и OPC-проб он
не создаёт страницы; для testAltChunkMHT.docx он вместо
вложенного HTML печатает исходный текст MHT/MIME на двух страницах. Они
перечислены в tests/corpus/visual-reference-exceptions.tsv,
исключаются только из численного сравнения и остаются отдельным
блокером. Реальные пользовательские документы в корпус не входят. Полная
квитанция: evidence-visual-corpus-v6-2026-10-07.json.
Предыдущие квитанции сохранены как исторические точки развития
измерительного контура.
Нативная матрица
Каталог qa/native/scenarios.json задаёт 16 сценариев для
macOS, Windows и Linux: всего 48 обязательных строк. В него входят
запуск редакторов из Hub, создание и повторное открытие файлов,
undo/redo, конфликт двух окон, recovery, пароль, PDF, клавиатура,
реальный IME и VoiceOver/NVDA/Orca.
qa/native/native_qa.py привязывает запуск к commit, хэшу
дерева, manifest и контрольным суммам Hub, Write, Sheets и broker. В
актуальном macOS-наборе также проверяются meridian-menubar
и его broker из Quick Access; это не добавляет и не заменяет строки
обязательной матрицы. Старые три .app по-прежнему подходят
для своей исторической приёмки. init/verify также принимают
flat manifests desktop-development от
scripts/package_desktop.py: Linux ARM64/x64 и Windows x64
GNU/MSVC. В Linux файлы meridian-hub,
meridian-write, meridian-sheets,
meridian-broker лежат в корне; в Windows те же имена имеют
.exe. Broker общий и записывается один раз, а не как копия
каждой .app.
Flat package проверяется штатным verifier из репозитория: полный
inventory, SHA/размеры, ELF/PE architecture, Linux permissions,
отсутствие symlink/лишних файлов и совпадение чистого
source-inputs с manifest. Код helper из неподписанного
пакета не исполняется. Квитанция привязывает каждый бинарник к полному
пути и live manifest; одинаковые bytes из другого каталога не заменяют
записанный кандидат. Старые macOS квитанции без root/target
продолжают проверяться по canonical Hub path.
Подготовить или проверить matrix другого target можно на текущем
host, без запуска binaries: все 48 строк останутся NOT_RUN.
Для native PASS target OS и architecture должны совпадать с
записанным host; manifest без target остаётся проверяемым, но не
получает native PASS. smoke запускается только
на OS/architecture самого кандидата и сверяет текущий host с host при
init. Linux/Windows используют trusted
scripts/verify_desktop_native.py в режиме
os_selfchecks: Hub, Write, Sheets и общий broker; на
Windows — также отдельный Write-IME. На Linux
test_text_input в X11 пока является no-op: IME self-check
явно сохраняется как NOT_RUN, пустые log labels не
принимаются за результат ввода. Перед каждым запуском снова проверяются
canonical executable path и SHA; после всех окон — весь package. У
каждого окна свой HOME/profile; broker запускается отдельным child
process в профиле Hub, готовность подтверждается
broker.nonce, idle-period и выход сохраняются в квитанции.
При timeout/ошибке завершаются только собственные child handles. Wine,
чужая OS/architecture и заменённый путь не дают native smoke.
Flat runner сохраняет package-smoke-command.json и
smoke/receipt.json: источники candidate/QA runner, manifest
SHA, OS/release/architecture/Python, PID/argv/SHA, profiles, логи и
полный растр каждого окна. Write сохраняет отдельный путь/SHA публичного
ODT fixture. AX записывается как
os_accessibility_snapshot_selfcheck,
user_screen_reader_verified=false: работа пользовательского
screen reader этим не подтверждается. Ненулевой AX snapshot каждого окна
обязателен. Для Windows требуется точный итог commit+typed
日本語QA-é тест и очищенный preedit синтетического OS IME;
missing/failed launch, AX, IME, frame или receipt дают smoke
FAIL. При verify снова проверяются hashes и
полнота записанных артефактов. Эти кадры —
application_presented_frame, а не OS screenshots;
physical_input_verified=false, все 48 пользовательских
сценариев остаются NOT_RUN до отдельных действий и
review.
Для Linux нужен работающий X11 display и AT-SPI в текущей D-Bus
session; для Windows — доступный desktop соответствующей Windows x64 OS.
Runner не включает permissions, не ремонтирует сессию и не подменяет
недоступный desktop headless-renderer. Xvfb можно использовать как явно
указанный отдельный smoke-стенд, но это не физическая приёмка Linux.
Новый Linux
ARM64 engineering smoke принят на exact extracted package
74314a83 / QA 9cd49d19: три кадра 1000×700,
настоящий AT-SPI snapshot и отдельный broker, при 0/48 пользовательских
строк. Windows native receipt пока отсутствует; 36 unit checks
выполняются с моделированными child handles, синтетические ELF/PE
fixtures не запускаются.
OS capture принимается в исходном PNG или JPEG: PNG должен содержать
полный растр с корректными контрольными суммами и завершением; JPEG
полностью декодируется Pillow с ограничением размеров и растра, без
допуска усечённых изображений. Одного заголовка с размерами
недостаточно. SHA-256 относится к исходным bytes; переименование
расширения не меняет формат. Для PASS требуются:
- действия в нативном окне на соответствующей физической ОС или native VM;
- снимок окна средствами ОС и журнал действий;
- артефакты сценария и отдельное наблюдение с проверкой каждого утверждения;
- указанные reviewer и дата; неизменные хэши всех файлов доказательства.
Пустая, сокращённая или дублированная матрица даёт FAIL.
Отсутствующее нативное доказательство оставляет строку
NOT_RUN/BLOCKED. Успешный smoke не повышает
статус; неуспешный smoke понижает общий gate до FAIL.
Каждый smoke-процесс получает отдельные MOFFICE_PROFILE,
HOME/USERPROFILE и папки данных ОС. Это
изолирует также поиск Hub в Documents/Desktop и стандартные пути
диалогов; одного переопределения профиля недостаточно. Для ручного или
CUA-сценария запускайте именно извлечённую .app с тем же
полным окружением и сохраняйте живой process handle/PID до окончания
проверки.
Команды для одного неизменного кандидата:
Нужен Python 3.11 или новее (hashlib.file_digest) и
QA-декодер из qa/native/requirements.txt; CI использует
3.12. На macOS системный Python 3.9 не подходит. Pillow используется
только инструментами QA, в настольный пакет не входит. Для локального
just ci устанавливайте зависимость в выбранное
Python-окружение; Forgejo использует /data/native-qa-venv
(образ runner должен содержать python3-venv).
python3 -m pip install -r qa/native/requirements.txt
python3 -B qa/native/test_native_qa.py
python3 qa/native/native_qa.py init --candidate /absolute/candidate --output target/parallel-qa/native-run
python3 qa/native/native_qa.py smoke target/parallel-qa/native-run
python3 qa/native/native_qa.py verify target/parallel-qa/native-runКонтрольный прогон на macOS-кандидате
828cfb77fbea940d7026b0bb191d2ffa69685ff7 дал четыре
успешных smoke (Hub, Write, Sheets, синтетический Write IME), без
повреждённых доказательств. Все 48 нативных строк остались
NOT_RUN, поэтому итог закономерно BLOCKED.
Этот результат проверяет gate и базовую работоспособность кандидата, но
не является нативной приёмкой продукта.
Базовая линия Sheets
qa/performance создаёт детерминированные XLSX на 1 000,
10 000 и 50 000 строк формул. Release-сборка делает пять повторов
открытия, пользовательского ввода, инкрементального пересчёта,
сортировки и отмены. После каждой операции проверяются диапазон, крайние
значения либо последняя зависимая формула. Генерация fixture не входит
во время операции.
sh qa/performance/run.sh target/parallel-performance/run-01Запуск разрешён только из чистого commit. JSON хранит исходный
commit, хэш tar-архива дерева, ОС, архитектуру, версию Rust, профиль и
сырые измерения. qa/performance/verify.py пересчитывает
медиану/p95 и отклоняет грязный источник, неполную матрицу или попытку
назвать локальный baseline достижением целевых нормативов.
Статус PASS / LOCAL_BASELINE_ONLY означает, что сценарий
измерения и функциональные проверки завершились. Он не закрывает пороги
1.0 из docs/apps/sheets.md: для них нужны R1/R2/R3, миллион
строк, 100-МБ XLSX, отрисовка/FPS и остальные специально заданные
нагрузки.
Чистый прогон 741d55597f1f0e381792d990639d0757d76475a7
на Apple M5 Max, arm64, Rust 1.97.1 завершился
PASS / LOCAL_BASELINE_ONLY. Медиана и p95,
миллисекунды:
| Строк | Открытие | Ввод | Пересчёт | Сортировка | Отмена сортировки |
|---|---|---|---|---|---|
| 1 000 | 7,2 / 13,3 | 31,4 / 35,7 | 0,84 / 0,92 | 39,6 / 44,0 | 33,3 / 34,8 |
| 10 000 | 114,2 / 133,2 | 390,8 / 607,8 | 10,1 / 13,0 | 569,4 / 635,1 | 350,6 / 455,9 |
| 50 000 | 317,9 / 327,3 | 1 156,7 / 1 407,1 | 32,1 / 33,2 | 1 132,9 / 1 441,5 | 902,6 / 1 139,7 |
Функциональные утверждения прошли во всех 75 измерениях. Этот первый запуск зафиксировал исходную стоимость сортировки и undo до интеграции общего batch/undo пути.
Повтор после интеграции batch/undo
Чистый merge-коммит
cd47f14deb1c70a4447811e70046452320c3ddb1 объединяет
шаблоны/справку, сервисный поток и завершённый результат надёжности
f66aaf1. Тот же harness, машина, release-профиль, входы и
пять повторов дали PASS / LOCAL_BASELINE_ONLY во всех 75
измерениях:
| Строк | Открытие | Ввод | Пересчёт | Сортировка | Отмена сортировки |
|---|---|---|---|---|---|
| 1 000 | 6,3 / 13,9 | 0,95 / 1,12 | 0,54 / 0,56 | 3,8 / 3,9 | 0,69 / 0,70 |
| 10 000 | 57,5 / 58,9 | 9,5 / 10,9 | 5,7 / 6,2 | 40,5 / 44,9 | 8,1 / 8,6 |
| 50 000 | 293,7 / 302,7 | 49,8 / 54,5 | 32,0 / 32,7 | 210,0 / 224,4 | 45,9 / 49,8 |
Для 50 000 строк медиана вставки снизилась на 95,7%, сортировки на 81,5%, undo на 94,9% относительно первого запуска. Пересчёт почти не изменился (-0,4%), поэтому сравнение не скрывает отдельную стоимость вычислений. Эти цифры доказывают улучшение данного фиксированного профиля; миллион строк, 100-МБ XLSX, память, FPS и эталонная машина остаются отдельными release-проверками.
Локальный stress-профиль Sheets
Команда ниже из чистого
f59ce3013b0243eaa96857f3d4c0648f94042505 построила миллион
формул пятью разрешёнными вставками по 200 000 ячеек, трижды изменила их
общий источник, затем трижды открыла детерминированный валидный XLSX
размером 104 660 046 байт:
sh qa/performance/run-stress.sh target/parallel-performance/stress-run-01verify_stress.py пересчитал SHA-256 fixture, медиану и
p95, проверил чистый source commit и крайние значения обоих сценариев.
Результат PASS / LOCAL_STRESS_ONLY:
| Нагрузка | Медиана | p95 | Локальное сравнение с roadmap |
|---|---|---|---|
| Пересчёт 1 000 000 зависимых формул | 534,6 мс | 539,1 мс | быстрее 2 000 мс |
| Открытие XLSX 104,66 МБ, 230 000 строк | 869,1 мс | 893,1 мс | быстрее 10 000 мс |
| RSS при живой книге с миллионом формул | 1567,5 МиБ | — | выше 1536 МиБ на 31,5 МиБ |
Начальное построение и пересчёт миллиона формул заняли 1795,7 мс. Все
проверки первой, средней и последней формулы, диапазона XLSX и его
крайних 384-байтных строк прошли. Файл имеет SHA-256
18e53432ba0b1c5978531755b14865cf8d0d0e27d240df9392d8867a375a4336.
Это локальное наблюдение на Apple M5 Max с обычным файловым кэшем.
Оно не закрывает R1/M2/R3, cold-cache open, 60 FPS и расход памяти:
последний сейчас воспроизводимо выше принятого в harness ориентира.
Квитанция: evidence-sheets-stress-2026-10-07.json.
Повтор после сжатия undo-стилей
В 734fe69dd0fc3bdcdbf10a9b9386919d73df1d27 стандартный
CellStyle больше не дублируется в каждом снимке массовой
отмены. Тот же чистый профиль завершился
PASS / LOCAL_STRESS_ONLY: пересчёт p95 545,8 мс, открытие
p95 972,5 мс, RSS 1391,5 МиБ. Память снизилась на 176,1 МиБ (11,2%) и
стала на 144,5 МиБ ниже локального ориентира; функциональные проверки
undo/redo и форматирования входят в полный CI. Квитанция:
evidence-sheets-stress-v2-2026-10-07.json.
Нативный proxy плавности
dcb5a4520abbcc2ce46ac65d6f5fce6f96aa12bc добавляет
измерение внутри настоящего окна meridian-platform: книга
получает занятую миллионную строку, после 10 прогревочных кадров
выполняются 240 последовательных прокруток, включая software paint и
native present. Проверяющий скрипт пересчитывает
медиану/p95 и требует чистую идентичность:
sh qa/performance/run-frame-pacing.sh target/parallel-performance/frame-run-02Результат PASS / LOCAL_NATIVE_FRAME_PROXY: CPU/present
median 8,14 мс, p95 8,51 мс; интервал начала кадров median 11,41 мс, p95
13,49 мс. На этой поверхности оба значения ниже бюджета 16,67 мс. macOS
ограничила фактический backing surface до 3020×2052 при scale 2, поэтому
four_k_surface=false: результат не закрывает требование 4K,
физический ввод и трассировку compositor. Квитанция:
evidence-sheets-frame-v1-2026-10-07.json.