# Benchmark-kit: программа реальных испытаний — проект без результатов

**Статус: проект для согласования; результаты не заполнены.**

Проект рекомендуемой процедуры для согласования. Документ не подтверждает внедрение, совместимость, проведение испытаний, приёмку или сертификацию. Все результаты и согласуемые версии оставлены незаполненными; фактические испытания требуют оборудования и отдельного протокола.

Отделить опубликованный ориентир и аналитический прогноз от измерений конкретного сервера.

## Рекомендуемый порядок

1. До испытаний зафиксировать экземпляр, BOM, версии ПО/firmware, GPU power limit, охлаждение, NUMA/PCIe/NVLink topology, доступную HBM и текущие ошибки. Условия среды и фоновые процессы включить в протокол.
2. Зафиксировать движок и benchmark tool по версии/commit/digest, модель и tokenizer по revision/hash, точность весов и KV, TP/PP/DP, cache/offload, режим batching, speculative decoding и параметры генерации. Лицензии и доступ к модели должны быть разрешены.
3. Для сравнения с текущим аналитическим прогнозом предложены Llama 3.1 8B BF16 TP1 и Llama 3.1 70B BF16 TP4; KV BF16, без offload, prefix sharing и speculative decoding. Это кандидаты теста, не установленное ПО. H200-8 испытывается как две независимые TP4-копии 70B; TP8 между группами не предполагается.
4. Предлагаемая матрица: вход 2048/8192/32768/130816 токенов, выход 256, одновременно активных последовательностей на копию 1/8/32/64. Сначала проверить реальную вместимость. Полный контекст не должен превышать 131072; не поместившиеся случаи отмечать отдельно без выдуманного TPS.
5. Синтетические или разрешённые обезличенные запросы подготовить воспроизводимо: seed, порядок, точные token counts и политика EOS. Если выход завершился раньше или context был усечён, записать фактическое число токенов и ограничить сопоставимость.
6. Разделять cold start/model load, прогрев, prefill, decode и полный HTTP-запрос. Длительность, число повторов, warmup и критерии стабилизации согласовать заранее; числовые значения здесь не назначены.
7. Показатели: совокупные output tokens/s на копию и сервер, output tokens/s одного потока, TTFT, интервалы между токенами, полная задержка, фактический input/output, ошибки и OOM. Для p95/p99 указать размер выборки и метод расчёта; без достаточной выборки не заявлять устойчивый процентиль.
8. Определить границы времени: aggregate decode tokens/s = фактически сгенерированные токены / измеренный согласованный интервал; TTFT и end-to-end считать отдельно. Не делить throughput всего сервера на число пользователей и не выдавать результат за SLA.
9. H200-4/H200-8 сравнивать при одинаковых модели, точности, ISL/OSL, настройках и нагрузке на копию; отдельно показать число одновременно работающих копий и полную нагрузку сервера. 512/1024/2048 ГБ RAM не считаются множителем GPU-resident скорости.
10. Собирать мощность, температуры, частоты, throttling, ECC/Xid и NVLink/PCIe ошибки в согласованной форме. DCGM может запускать нагрузочные тесты: профиль и окно согласуются отдельно; настоящий комплект ничего не запускает.
11. Остановить испытание по заранее утверждённым условиям безопасности изготовителя/площадки. Не назначать произвольные температуры, допустимые ошибки и pass-пороги. Сброс ошибок или изменение power limit не являются частью read-only наблюдения.
12. Сопоставлять измерение с прогнозом только при совпадении условий. Прогноз — сценарий с выбранной эффективностью, не эмпирический интервал. Отклонение требует анализа, а не автоматического вывода о неисправности или успехе.
13. Хранить исходные логи в закрытом контуре. Перед передачей удалить или заменить credentials, serial/UUID/MAC/IP, имена узлов/пользователей, пути и фрагменты данных; проверить также metadata и архивы. SHA-256 обезличенной копии считать после редактирования; исходный хэш хранить отдельно у владельца.

## Пустая форма

Значения `null`, пустые массивы и поля не являются результатами проверки.

```json
{
  "test_plan_id": null,
  "approval_ref": null,
  "unit_alias": null,
  "baseline_ref": null,
  "benchmark_tool_version": null,
  "benchmark_tool_source": null,
  "model_revision": null,
  "tokenizer_revision": null,
  "dataset_or_generator_revision": null,
  "random_seed": null,
  "warmup_definition": null,
  "measurement_window": null,
  "repetitions": null,
  "stop_conditions_approval_ref": null,
  "acceptance_criteria_approval_ref": null,
  "proposed_matrix": {
    "models": [
      "Llama 3.1 8B Instruct BF16 TP1",
      "Llama 3.1 70B Instruct BF16 TP4"
    ],
    "input_tokens": [
      2048,
      8192,
      32768,
      130816
    ],
    "output_tokens": 256,
    "active_sequences_per_replica": [
      1,
      8,
      32,
      64
    ],
    "max_total_context": 131072,
    "note": "Матрица — предложение. Запуск только после проверки памяти, условий и согласования."
  },
  "run_record_template": {
    "run_id": null,
    "status": null,
    "model": null,
    "replicas": null,
    "tp_per_replica": null,
    "input_tokens_actual": null,
    "output_tokens_actual": null,
    "active_sequences_per_replica_actual": null,
    "sample_count": null,
    "decode_window_seconds": null,
    "aggregate_output_tokens_s": null,
    "single_stream_output_tokens_s": null,
    "ttft_ms": null,
    "tpot_definition": null,
    "tpot_ms": null,
    "end_to_end_ms": null,
    "latency_percentiles": null,
    "peak_hbm_bytes": null,
    "power_temperature_clocks_ref": null,
    "errors_oom_throttling": null,
    "raw_log_ref_internal": null,
    "redacted_log_sha256": null,
    "forecast_comparison_notes": null,
    "conclusion": null
  },
  "read_only_command_examples": [
    {
      "command": "nvidia-smi --query-gpu=name,memory.total,driver_version,pstate,power.limit --format=csv,noheader",
      "purpose": "Выборочные свойства без запроса serial/UUID/IP. Сверить доступность полей в установленной версии; вывод проверить перед передачей."
    },
    {
      "command": "nvidia-smi topo -m",
      "purpose": "Локальная таблица связей/affinity; не доказывает нагрузочную пропускную способность. Проверить вывод на внутренние идентификаторы."
    }
  ],
  "commands_policy": "Это примеры ручного чтения, не исполняемый скрипт. Нет установки, изменения, сброса, нагрузки или удалённого подключения."
}
```

## Обращение с данными

Публичный образец содержит только пустые формы. Заполненные экземпляры, исходные журналы, серийные номера, адреса и учётные данные остаются в закрытом контуре владельца.

## Первичные источники

- [NVIDIA H200: H200 NVL и межсоединения](https://www.nvidia.com/en-us/data-center/h200/) — 141 ГБ, 4,8 ТБ/с и 2-/4-way NVLink для H200 NVL; не подтверждение собранной системы или её производительности.
- [NVIDIA System Management Interface](https://docs.nvidia.com/deploy/nvidia-smi/index.html) — Выборочные запросы мониторинга. Полные выгрузки могут содержать идентификаторы; публиковать их автоматически нельзя.
- [NVIDIA DCGM Diagnostics](https://docs.nvidia.com/datacenter/dcgm/latest/user-guide/dcgm-diagnostics.html) — Диагностика включает нагрузочные режимы и не заменяет полный комплект аппаратной диагностики или RMA. Запуск согласуется отдельно.
