botruntime
Эксплуатация

Мониторинг

Как читать диалоги, agent steps, события, логи и аналитику бота.

Раздел мониторинга показывает работу выбранного бота. Все экраны ограничены текущим воркспейсом и доступны только его участникам.

Диалоги

Список показывает ID диалога, канал, интеграцию, число сообщений и время последней активности. Выбранный диалог сохраняется в URL, поэтому ссылку можно передать коллеге с доступом к воркспейсу.

Хронология объединяет сообщения и технические события. Неизвестный payload показывается как JSON без попытки угадать его структуру.

Инспектор предназначен для чтения. Он не отправляет сообщения пользователю.

Agent Steps

Agent Steps объясняют, что произошло внутри одного хода:

  • тип шага: handler, cognitive, autonomous или tool;
  • статус: ok, error или unset;
  • длительность и LLM latency;
  • модель и число токенов;
  • безопасная классификация ошибки.

Cloud trace store не сохраняет промпты, сообщения, сгенерированный код, tool input/output и raw errors. Локальный inspector в brt dev может содержать эти данные. Считайте его чувствительным developer artifact.

События

Лента событий показывает тип, статус, диалог и время. Строка со статусом failed содержит короткую failureReason.

Развёрнутая запись показывает payload как форматированный JSON. Вложенная JSON-строка разбирается до ограниченной глубины.

Логи

Логи сортируются от новых к старым. Фильтры ограничивают выдачу по уровню, подстроке и временному окну.

ФильтрПример
Уровеньerror, warn, info, debug
ПоискПодстрока в сообщении
ОкноЧас, сутки, 7 или 30 дней

Списки используют keyset-пагинацию. Кнопка «Загрузить ещё» продолжает текущее окно, а «Обновить» начинает новое от текущего времени.

Не записывайте в лог токены, персональные данные и полный payload внешнего сервиса. Для поиска используйте безопасные идентификаторы и категории ошибок.

Аналитика

Аналитика агрегирует активность по дням:

  • новые и вернувшиеся пользователи;
  • входящие и исходящие сообщения;
  • события.

Пустой период показывает нули. Экран не рассчитывает стоимость отдельного ответа модели.

Evals

Evals показывают историю hosted-проверок качества, долю успешных, регрессии, тайминги и результаты отдельных assertions. Активные запуски обновляются автоматически, а непройденные проверки выводятся первыми.

Состояние запуска описывает выполнение набора, а не качество бота: запуск со статусом «Завершён» может содержать регрессии. Подробный порядок разбора — на странице Evals в консоли.

Порядок диагностики

Найдите отклонение по дню на экране аналитики.
Проверьте неуспешные события и их failureReason.
Откройте нужный диалог и последовательность Agent Steps.
Сузьте логи по времени, уровню и безопасному идентификатору.
Если отклонение найдено eval-набором, откройте непройденные assertions.

Дальше

On this page