Метрики чат-бота — KPI, аналитика, A/B тесты сценариев для роста конверсии
Большинство компаний запускают чат-бот и не знают что с ним делать дальше. Какие метрики смотреть? Как понять работает ли бот? Как улучшить конверсию?
Сколько это стоит и из чего складывается сумма, разобрано отдельно: разработка чат-бота от 250 000 ₸, этапы и сроки. Если бот нужен именно в мессенджере, есть страница телеграм-бот на заказ.
В этом гайде разберём главные KPI, как их считать, и как использовать A/B тесты для оптимизации.
7 главных метрик
| Метрика | Формула | Здоровое значение | Что означает |
|---|---|---|---|
| DAU (Daily Active Users) | Уникальные пользователи/день | >100 (для МСБ) | Популярность бота |
| Retention 7d | % вернулись через 7 дней | >30% | Полезность бота |
| Completion rate | Завершили сценарий / начали × 100% | >60% | Юзабилити |
| Avg session length | Среднее время в боте | 2-5 мин | Engagement |
| Fallback rate | % запросов когда бот не понял | <10% | Качество бота |
| CSAT (Customer Satisfaction) | Опрос "Помог ли бот?" (1-5 звёзд) | >4.0 | Удовлетворение |
| Conversion to lead | % пользователей → оставили контакты | >5% | Бизнес результат |
Dashboard в Grafana
А-LUX создаёт dashboard для каждого клиента с этими метриками. Пример для e-commerce бота:
- День в реальном времени: сколько человек в боте прямо сейчас
- Последние 30 дней: тренд DAU
- Топ вопросы: "статус заказа" (45%), "цена доставки" (23%)
- Топ fallback: "Извините, не понял" (8%)
- Conversion funnel: 1000 → 850 (completion) → 120 (lead)
A/B тесты сценариев
Рекомендуется тестировать:
1. Welcome message
Вариант A: "Привет! Чем я могу помочь?"
Вариант B: "Привет! 👋 Я могу помочь с заказом, доставкой или вопросами. Выбери:"
Результаты (7 дней):
- A: completion 45%, CSAT 3.8
- B: completion 62%, CSAT 4.2 ← ВЫИГРЫШ
Вывод: явный menu лучше свободного ввода текста.
2. Persona бота
Вариант A: Формальный ("Хорошо, обработаю ваш запрос")
Вариант B: Дружелюбный ("Окей! Секунду, смотрю в системе 🔍")
Результаты: B выигрывает на +5% CSAT, но A быстрее на 0.3 сек. Выбор: B для B2C (магазины), A для B2B (банки).
3. Fallback handling
Вариант A: "Не понял, попробуйте ещё"
Вариант B: "Не понял. Может быть вам помочь с заказом или доставкой?"
Результаты: B на +25% recovery (пользователь пробует вариант из меню вместо уход).
Где смотреть метрики
- Telegram Bot API: встроенная статистика в BotFather
- Custom backend: логирует в PostgreSQL все события (лучший вариант)
- Mixpanel / Amplitude: SaaS analytics для ботов
- Google Analytics 4: если бот встроен в web
Интерпретация метрик
Низкий completion rate (<40%)?
- ❌ Сценарий слишком сложный (много вопросов)
- ✅ Упростить: 1-2 вопроса вместо 5
- ✅ Добавить примеры ("Например:
статус заказа 12345
")
Высокий fallback rate (>15%)?
- ❌ Бот не понимает вариации вопроса
- ✅ Расширить синонимы в NLU ("статус", "где мой заказ", "когда придёт")
- ✅ Использовать AI модель (Claude вместо keyword matching)
Низкий CSAT (<3.5)?
- ❌ Бот даёт неправильные ответы
- ✅ Аудит 50 случайных диалогов
- ✅ Fine-tune модель на вашем контенте
Примеры улучшений (реальные кейсы)
KIPA (e-commerce):
- Исходные метрики: DAU 200, completion 48%, CSAT 3.6
- После A/B тестов welcome + fallback меню: DAU 250, completion 68%, CSAT 4.1
- Итог: +25% DAU, +20% completion, конверсия в заказы +30%
Call-центр БТА:
- Исходные метрики: fallback 22% (много ошибок в ASR)
- После upgrade на Whisper ASR: fallback 8%
- Итог: экономия оператора на 25% (меньше повторов запроса)
Периодичность аналитики
- Еженедельно: DAU, completion rate, fallback (быстрое реагирование на проблемы)
- Ежемесячно: retention, CSAT, conversion (долгосрочные тренды)
- Ежеквартально: A/B тесты новых сценариев (планирование roadmap)
Инструменты для отслеживания
- Grafana + Prometheus: open-source, лучший вариант для custom метрик
- Google Data Studio: бесплатно, просто подключить к BigQuery
- Metabase: open-source BI, легче чем Grafana