От прототипа до запуска на всю компанию за два месяца
Задача
Сотрудникам нужны ответы про спринты, метрики, людей и методологию. Данные разбросаны по Jira, Confluence и Superset, а два старых бота работали по ключевым словам.
Главное требование: цифры в ответах должны сходиться с эталонным дашбордом.
- АрхитектураСвёл два бота в единый агентный контур: модель выбирает инструменты по смыслу, вычисления детерминированы в Python
- RAGСобственный индекс по ~700 страницам Confluence с ежедневным обновлением: меньше LLM-раундов и токенов
- Evals53 реальных вопроса с эталонными инструментами, прогон до и после перед каждой выкаткой
- Надёжность25 параллельных диалогов, ретраи и таймауты, нагрузочный тест до 150 запросов, read-only контур и защита от prompt injection
- Люди в контуреПлатформа разбора ответов: взвешенные сигналы проблем (дизлайки, поправки пользователей, ошибки инструментов), кластеры, LLM-as-a-Judge с калибровкой по оценкам людей
- БизнесМетрики продукта из логов, дашборд DAU/WAU/MAU, отчёты для CEO, CTO и CPO
eval / regressionбыло → стало
| Метрика | Было | Стало | Эффект |
|---|---|---|---|
| Доля положительных оценок | 59% | 83% | +24 п.п. |
| Системный промпт, токенов | 11 700 | 2 500 | −79% |
| Утечки названий инструментов, на 10 ответов | 4 | 0 | устранены |