# Benchmark-kit: программа реальных испытаний — проект без результатов **Статус: проект для согласования; результаты не заполнены.** Проект рекомендуемой процедуры для согласования. Документ не подтверждает внедрение, совместимость, проведение испытаний, приёмку или сертификацию. Все результаты и согласуемые версии оставлены незаполненными; фактические испытания требуют оборудования и отдельного протокола. Отделить опубликованный ориентир и аналитический прогноз от измерений конкретного сервера. ## Рекомендуемый порядок 1. До испытаний зафиксировать экземпляр, BOM, версии ПО/firmware, GPU power limit, охлаждение, NUMA/PCIe/NVLink topology, доступную HBM и текущие ошибки. Условия среды и фоновые процессы включить в протокол. 2. Зафиксировать движок и benchmark tool по версии/commit/digest, модель и tokenizer по revision/hash, точность весов и KV, TP/PP/DP, cache/offload, режим batching, speculative decoding и параметры генерации. Лицензии и доступ к модели должны быть разрешены. 3. Для сравнения с текущим аналитическим прогнозом предложены Llama 3.1 8B BF16 TP1 и Llama 3.1 70B BF16 TP4; KV BF16, без offload, prefix sharing и speculative decoding. Это кандидаты теста, не установленное ПО. H200-8 испытывается как две независимые TP4-копии 70B; TP8 между группами не предполагается. 4. Предлагаемая матрица: вход 2048/8192/32768/130816 токенов, выход 256, одновременно активных последовательностей на копию 1/8/32/64. Сначала проверить реальную вместимость. Полный контекст не должен превышать 131072; не поместившиеся случаи отмечать отдельно без выдуманного TPS. 5. Синтетические или разрешённые обезличенные запросы подготовить воспроизводимо: seed, порядок, точные token counts и политика EOS. Если выход завершился раньше или context был усечён, записать фактическое число токенов и ограничить сопоставимость. 6. Разделять cold start/model load, прогрев, prefill, decode и полный HTTP-запрос. Длительность, число повторов, warmup и критерии стабилизации согласовать заранее; числовые значения здесь не назначены. 7. Показатели: совокупные output tokens/s на копию и сервер, output tokens/s одного потока, TTFT, интервалы между токенами, полная задержка, фактический input/output, ошибки и OOM. Для p95/p99 указать размер выборки и метод расчёта; без достаточной выборки не заявлять устойчивый процентиль. 8. Определить границы времени: aggregate decode tokens/s = фактически сгенерированные токены / измеренный согласованный интервал; TTFT и end-to-end считать отдельно. Не делить throughput всего сервера на число пользователей и не выдавать результат за SLA. 9. H200-4/H200-8 сравнивать при одинаковых модели, точности, ISL/OSL, настройках и нагрузке на копию; отдельно показать число одновременно работающих копий и полную нагрузку сервера. 512/1024/2048 ГБ RAM не считаются множителем GPU-resident скорости. 10. Собирать мощность, температуры, частоты, throttling, ECC/Xid и NVLink/PCIe ошибки в согласованной форме. DCGM может запускать нагрузочные тесты: профиль и окно согласуются отдельно; настоящий комплект ничего не запускает. 11. Остановить испытание по заранее утверждённым условиям безопасности изготовителя/площадки. Не назначать произвольные температуры, допустимые ошибки и pass-пороги. Сброс ошибок или изменение power limit не являются частью read-only наблюдения. 12. Сопоставлять измерение с прогнозом только при совпадении условий. Прогноз — сценарий с выбранной эффективностью, не эмпирический интервал. Отклонение требует анализа, а не автоматического вывода о неисправности или успехе. 13. Хранить исходные логи в закрытом контуре. Перед передачей удалить или заменить credentials, serial/UUID/MAC/IP, имена узлов/пользователей, пути и фрагменты данных; проверить также metadata и архивы. SHA-256 обезличенной копии считать после редактирования; исходный хэш хранить отдельно у владельца. ## Пустая форма Значения `null`, пустые массивы и поля не являются результатами проверки. ```json { "test_plan_id": null, "approval_ref": null, "unit_alias": null, "baseline_ref": null, "benchmark_tool_version": null, "benchmark_tool_source": null, "model_revision": null, "tokenizer_revision": null, "dataset_or_generator_revision": null, "random_seed": null, "warmup_definition": null, "measurement_window": null, "repetitions": null, "stop_conditions_approval_ref": null, "acceptance_criteria_approval_ref": null, "proposed_matrix": { "models": [ "Llama 3.1 8B Instruct BF16 TP1", "Llama 3.1 70B Instruct BF16 TP4" ], "input_tokens": [ 2048, 8192, 32768, 130816 ], "output_tokens": 256, "active_sequences_per_replica": [ 1, 8, 32, 64 ], "max_total_context": 131072, "note": "Матрица — предложение. Запуск только после проверки памяти, условий и согласования." }, "run_record_template": { "run_id": null, "status": null, "model": null, "replicas": null, "tp_per_replica": null, "input_tokens_actual": null, "output_tokens_actual": null, "active_sequences_per_replica_actual": null, "sample_count": null, "decode_window_seconds": null, "aggregate_output_tokens_s": null, "single_stream_output_tokens_s": null, "ttft_ms": null, "tpot_definition": null, "tpot_ms": null, "end_to_end_ms": null, "latency_percentiles": null, "peak_hbm_bytes": null, "power_temperature_clocks_ref": null, "errors_oom_throttling": null, "raw_log_ref_internal": null, "redacted_log_sha256": null, "forecast_comparison_notes": null, "conclusion": null }, "read_only_command_examples": [ { "command": "nvidia-smi --query-gpu=name,memory.total,driver_version,pstate,power.limit --format=csv,noheader", "purpose": "Выборочные свойства без запроса serial/UUID/IP. Сверить доступность полей в установленной версии; вывод проверить перед передачей." }, { "command": "nvidia-smi topo -m", "purpose": "Локальная таблица связей/affinity; не доказывает нагрузочную пропускную способность. Проверить вывод на внутренние идентификаторы." } ], "commands_policy": "Это примеры ручного чтения, не исполняемый скрипт. Нет установки, изменения, сброса, нагрузки или удалённого подключения." } ``` ## Обращение с данными Публичный образец содержит только пустые формы. Заполненные экземпляры, исходные журналы, серийные номера, адреса и учётные данные остаются в закрытом контуре владельца. ## Первичные источники - [NVIDIA H200: H200 NVL и межсоединения](https://www.nvidia.com/en-us/data-center/h200/) — 141 ГБ, 4,8 ТБ/с и 2-/4-way NVLink для H200 NVL; не подтверждение собранной системы или её производительности. - [NVIDIA System Management Interface](https://docs.nvidia.com/deploy/nvidia-smi/index.html) — Выборочные запросы мониторинга. Полные выгрузки могут содержать идентификаторы; публиковать их автоматически нельзя. - [NVIDIA DCGM Diagnostics](https://docs.nvidia.com/datacenter/dcgm/latest/user-guide/dcgm-diagnostics.html) — Диагностика включает нагрузочные режимы и не заменяет полный комплект аппаратной диагностики или RMA. Запуск согласуется отдельно.