Як оцінювати якість розмов і помічати сплеск звернень

6 хв

Elbuz сам оцінює кожне вирішене звернення — ввічливість, чи вирішено питання, точність відповідей і задоволеність клієнта за текстом розмови — і помічає, коли звернень однієї теми раптом стало багато.

Коли це знадобиться:

  • Клієнти не заповнюють опитування — задоволеність видно за словами й тоном самого клієнта.
  • Неможливо перечитати всі розмови — найгірші звернення зібрані в таблицю з підказкою, що покращити.
  • Перевізник зірвав доставку, і посипалися однакові питання — керівник отримує сигнал, а всім клієнтам іде одна узгоджена відповідь.

З чого почати: «Автономна підтримка» → «Канали й проактив» → увімкнути AutoQA.

Що вміє контроль якості

  • AutoQA — оцінка AI кожної вирішеної розмови за трьома балами від 1 до 5 і задоволеність клієнта за текстом.
  • Підсумки за 30 днів — середні бали, скільки клієнтів задоволені, і список найгірших розмов.
  • Сплеск однієї теми — сигнал керівнику, коли звернень з одним приводом у рази більше звичного.
  • Вказівка для AI і масова чернетка — узгоджена відповідь на час сплеску; надсилають співробітники.

Обидві функції нічого не надсилають клієнтам, тому працюють незалежно від головного вимикача автономної підтримки. Оцінка рішень самого AI — окрема черга «Перевірка» (як її вести).

Де це і хто має доступ

Налаштування
«Звернення» → шестерня → «Автономна підтримка» → вкладка «Канали й проактив»
Картки
«AutoQA — оцінка розмов» і «Сплески однієї теми»
Інші входи
сповіщення «Сплеск звернень: …» → «Сплески звернень»
Право доступу
вікно «Автономна підтримка» — за замовчуванням лише «Управління»
Підготувати
увімкнений AI-співробітник «AI · Підтримка»: AutoQA працює його моделлю й бюджетом

Як AI оцінює закриті розмови

Увімкніть у картці «AutoQA — оцінка розмов» режим «Тест» або «Насправді» і натисніть «Застосувати». Обидва режими працюють однаково: оцінка нічого не надсилає й звернення не змінює.

Раз на 30 хвилин програма бере звернення в статусі «Вирішено» або «Закрито», вирішені чи закриті за останні 7 днів і ще не оцінені, — до 20 за раз. AI читає останні 30 реплік клієнта, магазину й AI з листів, чатів, дзвінків і перенесеного листування. Внутрішні нотатки в оцінку не потрапляють.

Що оцінює AutoQA
ПоказникЩо означаєШкала
«Ввічливість»ввічливість і тон відповідей магазину1–5
«Вирішено»чи вирішено питання клієнта1–5
«Точність»точність і повнота відповідей1–5
«Задоволеність»наскільки клієнт задоволений, за його словами й тоном«Задоволені», «Нейтрально», «Незадоволені»
«Що покращити»одна фраза: головне, що варто змінититекст

Поле «На добу, не більше» обмежує, скільки розмов AI оцінює за добу: за замовчуванням 50, до 500. Звернення понад ліміт оцінюються наступної доби, якщо їх закрили не раніше ніж 7 днів тому.

Де дивитися підсумки

Підсумки за 30 днів стоять у тій самій картці під налаштуваннями: «Оцінено за 30 днів», середні «Ввічливість», «Вирішено», «Точність» і кількість «Задоволені», «Нейтрально», «Незадоволені». Нижче — таблиця до 10 найгірших розмов: клієнт незадоволений або хоч один бал не вищий за 2. У кожному рядку номер звернення, задоволеність і «Що покращити».

Картка «AutoQA — оцінка розмов»: режим, ліміт, середні бали, задоволеність і таблиця «Що покращити»
1Режим і ліміт
2Середні бали
3Задоволеність клієнтів
4Що покращити
  1. Режим AutoQA і ліміт оцінок на добу — «Насправді», не більше 50.
  2. Скільки розмов оцінено за 30 днів і середні бали за ввічливість, вирішеність та точність.
  3. Розподіл задоволеності клієнтів за текстом розмови: задоволені, нейтрально, незадоволені.
  4. Таблиця найгірших розмов: звернення, задоволеність і що саме покращити.

Задоволеність AutoQA — оцінка AI за текстом, а не відповідь клієнта. Оцінки, які клієнти ставлять самі, рахуються окремо у звітах «Звернень».

Як помітити сплеск однієї теми

Сплеск — це коли звернень з одним приводом AI-розбору за останні години в рази більше, ніж зазвичай. Привід — той самий, що в секції «AI · Підтримка» звернення: «Доставка», «Статус замовлення», «Повернення» тощо.

Налаштування картки «Сплески однієї теми»
ПолеЩо робитьЗа замовчуванням
«Режим»«Тест» — сплеск лише записується в список; «Насправді» — ще сигнал і вказівка для AI«Вимкнено»
«Вікно, год»за скільки останніх годин рахуються нові звернення3 (від 1 до 48)
«Звернень не менше»менше звернень сплеском не вважається, хоч би як виросло5 (від 3 до 500)
«У скільки разів більше звичного»звичне — середнє за таке саме вікно за попередні 7 днів3 (від 2 до 20)
«Вказівка для AI діє, год»скільки годин сплеск вважається активним24 (до 72)
«Кому сигнал»співробітник, який отримує сповіщення«Керівнику (адресат «Керівник» питань колегам, а без нього — керівник «Відділу роботи з клієнтами»)»

Програма перевіряє приводи раз на 30 хвилин. Приклад із заводськими значеннями: за звичайний тиждень питань про доставку — близько одного за 3 години; сьогодні за 3 години їх 7. Це не менше 5 і більше втричі — сплеск. Одна тема дає щонайбільше один сплеск за вікно.

У режимі «Насправді» адресат отримує сповіщення «Сплеск звернень: Доставка» (у заголовку — назва приводу) з текстом «N звернень за 3 год (звично …). Перевірте причину й підготуйте відповідь.» Кнопка в сповіщенні відкриває вкладку «Канали й проактив».

«Кому сигнал» за замовчуванням — адресат «Керівник» із питань AI співробітникам. Якщо там нікого не вибрано, сигнал іде керівнику «Відділу роботи з клієнтами» в оргструктурі, а без нього — першому співробітнику групи «Управління». Щоб сигнал отримувала конкретна людина, виберіть її в «Кому сигнал».

Сплески видно під налаштуваннями картки: тема, скільки звернень, за скільки годин і скільки звично. Позначка «Триває» — сплеск активний, «Минув» — час вказівки вийшов, «Тест» — записаний у тестовому режимі.

Картка «Сплески однієї теми» з активним сплеском «Доставка»
1Пороги спрацювання
2Кому сигнал
3Сплеск «Триває»
4Вказівка для AI
5Чернетка масової відповіді
  1. Пороги: вікно, мінімум звернень і у скільки разів більше звичного.
  2. «Кому сигнал» — кого сповіщати про сплеск.
  3. Рядок активного сплеску з пілюлею «Триває» показує тему та кількість звернень.
  4. Вказівка для AI діє на час сплеску і підказує, як відповідати.
  5. Чернетка масової відповіді ляже AI-чернеткою у відкриті звернення; надсилає співробітник.

Як відповісти всім клієнтам сплеску однаково

У панелі кожного сплеску два поля. Заповніть потрібне й натисніть «Зберегти» під панеллю.

  • «Вказівка для AI на час сплеску», до 1000 знаків — ваші слова про причину, наприклад «Затримка Нової пошти через негоду, доставка до 3 днів, компенсацій не обіцяти». Поки сплеск активний, AI-відповідач додає вказівку до своїх правил і відповідає всім узгоджено, не обіцяючи більше, ніж у ній.
  • «Чернетка масової відповіді», до 4000 знаків — готовий текст для клієнтів. Після «Зберегти» він стає AI-чернеткою у відкритих зверненнях сплеску — статуси «Нове», «Відкрито», «Призупинено»; тост показує, у скількох.

Масову відповідь AI не надсилає. Співробітник відкриває звернення, натискає «AI-чернетка» — у полі з'являється текст із панелі сплеску, — за потреби виправляє й надсилає (як працює чернетка). Звернення, що прийшли після запису сплеску, чернетку не отримують: на них відповідає AI з урахуванням вказівки.

Вказівка діє лише в режимі «Насправді» і лише поки сплеск «Триває». Чернетку можна зберегти й для сплеску в режимі «Тест».

Сценарії

Щотижневий огляд якості

AutoQA — «Насправді», ліміт 50. У понеділок відкрийте картку AutoQA: середні бали, частку незадоволених і 10 найгірших розмов. Відкрийте звернення з таблиці, прочитайте «Що покращити» й розберіть із командою конкретні відповіді.

Перевізник затримує всі посилки

Сплески — «Насправді», «Кому сигнал» — керівник підтримки. За ранок прийшло 12 питань «де посилка?» — керівник отримує сигнал, пише вказівку для AI і масову чернетку. Відкриті звернення співробітники закривають однією відповіддю, нові отримують від AI ту саму версію подій.

Однакові питання про новий товар

Після запуску товару тема «Товар і ціна» дала сплеск. Відповідь — у масову чернетку, а питання, на які AI відповісти не зміг, — у статті з черги «Пробіли бази знань» (як).

Що робити, коли оцінок чи сигналів немає

Чому немає оцінок чи сигналів
Що ви бачитеЧому такЩо зробити
«Оцінок за 30 днів ще немає» Режим AutoQA «Вимкнено», за 7 днів немає вирішених чи закритих звернень, або «AI · Підтримка» вимкнений чи вибрав бюджет Увімкніть режим і AI-співробітника; оцінки з'являться протягом пів години (AutoQA)
Оцінено менше звернень, ніж закрито Ліміт «На добу, не більше» або звернення закрили давніше ніж 7 днів тому Підніміть ліміт; старіші звернення AutoQA не бере
Сплеск у списку є, а сповіщення ніхто не отримав Режим «Тест»: сплеск лише записується в список Поставте «Насправді»
Звернень багато, а сплеску немає Звичний рівень теми теж високий, звернень менше за поріг або в них немає приводу AI-розбору Зменште «У скільки разів більше звичного» чи «Звернень не менше» (як рахується)
Після «Зберегти» тост «Чернеток у зверненнях: 0» Звернення сплеску вже вирішені або закриті Нічого: масова чернетка лягає лише у відкриті звернення

Часті запитання

Чи бачить клієнт оцінку AutoQA?

Ні. Оцінка зберігається для магазину, клієнту нічого не надсилається, і звернення не змінюється.

Чи оцінює AutoQA відповіді AI чи співробітників?

Розмову цілком: відповіді співробітників і AI разом. Окремо рішення AI оцінюють люди в черзі «Перевірка» (як).

Чи надішле AI масову відповідь сам?

Ні. Масова чернетка лягає в поле відповіді відкритих звернень, надсилає її співробітник.

Чи можна оцінити звернення, закрите місяць тому?

Ні. AutoQA бере лише звернення, вирішені чи закриті за останні 7 днів.

Що буде з вказівкою для AI, коли сплеск мине?

Після «Вказівка для AI діє, год» сплеск стає «Минув», і AI перестає враховувати вказівку. Текст лишається в панелі сплеску.

Суміжні теми

Чи була стаття корисною?