{
  "schema_version": 1,
  "title": "Benchmark-kit: программа реальных испытаний — проект без результатов",
  "date": "2026-11-18",
  "status": "proposed_for_agreement_not_implemented",
  "notice": "Проект рекомендуемой процедуры для согласования. Документ не подтверждает внедрение, совместимость, проведение испытаний, приёмку или сертификацию. Все результаты и согласуемые версии оставлены незаполненными; фактические испытания требуют оборудования и отдельного протокола.",
  "purpose": "Отделить опубликованный ориентир и аналитический прогноз от измерений конкретного сервера.",
  "instructions": [
    "До испытаний зафиксировать экземпляр, BOM, версии ПО/firmware, GPU power limit, охлаждение, NUMA/PCIe/NVLink topology, доступную HBM и текущие ошибки. Условия среды и фоновые процессы включить в протокол.",
    "Зафиксировать движок и benchmark tool по версии/commit/digest, модель и tokenizer по revision/hash, точность весов и KV, TP/PP/DP, cache/offload, режим batching, speculative decoding и параметры генерации. Лицензии и доступ к модели должны быть разрешены.",
    "Для сравнения с текущим аналитическим прогнозом предложены Llama 3.1 8B BF16 TP1 и Llama 3.1 70B BF16 TP4; KV BF16, без offload, prefix sharing и speculative decoding. Это кандидаты теста, не установленное ПО. H200-8 испытывается как две независимые TP4-копии 70B; TP8 между группами не предполагается.",
    "Предлагаемая матрица: вход 2048/8192/32768/130816 токенов, выход 256, одновременно активных последовательностей на копию 1/8/32/64. Сначала проверить реальную вместимость. Полный контекст не должен превышать 131072; не поместившиеся случаи отмечать отдельно без выдуманного TPS.",
    "Синтетические или разрешённые обезличенные запросы подготовить воспроизводимо: seed, порядок, точные token counts и политика EOS. Если выход завершился раньше или context был усечён, записать фактическое число токенов и ограничить сопоставимость.",
    "Разделять cold start/model load, прогрев, prefill, decode и полный HTTP-запрос. Длительность, число повторов, warmup и критерии стабилизации согласовать заранее; числовые значения здесь не назначены.",
    "Показатели: совокупные output tokens/s на копию и сервер, output tokens/s одного потока, TTFT, интервалы между токенами, полная задержка, фактический input/output, ошибки и OOM. Для p95/p99 указать размер выборки и метод расчёта; без достаточной выборки не заявлять устойчивый процентиль.",
    "Определить границы времени: aggregate decode tokens/s = фактически сгенерированные токены / измеренный согласованный интервал; TTFT и end-to-end считать отдельно. Не делить throughput всего сервера на число пользователей и не выдавать результат за SLA.",
    "H200-4/H200-8 сравнивать при одинаковых модели, точности, ISL/OSL, настройках и нагрузке на копию; отдельно показать число одновременно работающих копий и полную нагрузку сервера. 512/1024/2048 ГБ RAM не считаются множителем GPU-resident скорости.",
    "Собирать мощность, температуры, частоты, throttling, ECC/Xid и NVLink/PCIe ошибки в согласованной форме. DCGM может запускать нагрузочные тесты: профиль и окно согласуются отдельно; настоящий комплект ничего не запускает.",
    "Остановить испытание по заранее утверждённым условиям безопасности изготовителя/площадки. Не назначать произвольные температуры, допустимые ошибки и pass-пороги. Сброс ошибок или изменение power limit не являются частью read-only наблюдения.",
    "Сопоставлять измерение с прогнозом только при совпадении условий. Прогноз — сценарий с выбранной эффективностью, не эмпирический интервал. Отклонение требует анализа, а не автоматического вывода о неисправности или успехе.",
    "Хранить исходные логи в закрытом контуре. Перед передачей удалить или заменить credentials, serial/UUID/MAC/IP, имена узлов/пользователей, пути и фрагменты данных; проверить также metadata и архивы. SHA-256 обезличенной копии считать после редактирования; исходный хэш хранить отдельно у владельца."
  ],
  "blank_template": {
    "test_plan_id": null,
    "approval_ref": null,
    "unit_alias": null,
    "baseline_ref": null,
    "benchmark_tool_version": null,
    "benchmark_tool_source": null,
    "model_revision": null,
    "tokenizer_revision": null,
    "dataset_or_generator_revision": null,
    "random_seed": null,
    "warmup_definition": null,
    "measurement_window": null,
    "repetitions": null,
    "stop_conditions_approval_ref": null,
    "acceptance_criteria_approval_ref": null,
    "proposed_matrix": {
      "models": [
        "Llama 3.1 8B Instruct BF16 TP1",
        "Llama 3.1 70B Instruct BF16 TP4"
      ],
      "input_tokens": [
        2048,
        8192,
        32768,
        130816
      ],
      "output_tokens": 256,
      "active_sequences_per_replica": [
        1,
        8,
        32,
        64
      ],
      "max_total_context": 131072,
      "note": "Матрица — предложение. Запуск только после проверки памяти, условий и согласования."
    },
    "run_record_template": {
      "run_id": null,
      "status": null,
      "model": null,
      "replicas": null,
      "tp_per_replica": null,
      "input_tokens_actual": null,
      "output_tokens_actual": null,
      "active_sequences_per_replica_actual": null,
      "sample_count": null,
      "decode_window_seconds": null,
      "aggregate_output_tokens_s": null,
      "single_stream_output_tokens_s": null,
      "ttft_ms": null,
      "tpot_definition": null,
      "tpot_ms": null,
      "end_to_end_ms": null,
      "latency_percentiles": null,
      "peak_hbm_bytes": null,
      "power_temperature_clocks_ref": null,
      "errors_oom_throttling": null,
      "raw_log_ref_internal": null,
      "redacted_log_sha256": null,
      "forecast_comparison_notes": null,
      "conclusion": null
    },
    "read_only_command_examples": [
      {
        "command": "nvidia-smi --query-gpu=name,memory.total,driver_version,pstate,power.limit --format=csv,noheader",
        "purpose": "Выборочные свойства без запроса serial/UUID/IP. Сверить доступность полей в установленной версии; вывод проверить перед передачей."
      },
      {
        "command": "nvidia-smi topo -m",
        "purpose": "Локальная таблица связей/affinity; не доказывает нагрузочную пропускную способность. Проверить вывод на внутренние идентификаторы."
      }
    ],
    "commands_policy": "Это примеры ручного чтения, не исполняемый скрипт. Нет установки, изменения, сброса, нагрузки или удалённого подключения."
  },
  "sources": [
    "nvidia_h200",
    "nvidia_smi",
    "dcgm"
  ],
  "confidentiality": "Публичный образец содержит только пустые формы. Заполненные экземпляры, исходные журналы, серийные номера, адреса и учётные данные остаются в закрытом контуре владельца."
}
