{ "version": "https:\/\/jsonfeed.org\/version\/1", "title": "Математика и кофе: заметки с тегом коллцентр", "_rss_description": "Отделы продаж, коллцентры, аналитика, цифры и данные, воронки продаж, матстатистика..", "_rss_language": "ru", "_itunes_email": "", "_itunes_categories_xml": "", "_itunes_image": "", "_itunes_explicit": "", "home_page_url": "https:\/\/mathandcoffee.ru\/tags\/kollcentr\/", "feed_url": "https:\/\/mathandcoffee.ru\/tags\/kollcentr\/json\/", "icon": "https:\/\/mathandcoffee.ru\/user\/userpic@2x.jpg?1559386410", "author": { "name": "Иван Балдин", "url": "https:\/\/mathandcoffee.ru\/", "avatar": "https:\/\/mathandcoffee.ru\/user\/userpic@2x.jpg?1559386410" }, "items": [ { "id": "27", "url": "https:\/\/mathandcoffee.ru\/all\/golosovoy-robot-kupivip-ugadyvaem-razmer-vyborki\/", "title": "Голосовой робот KupiVIP, угадываем размер выборки", "content_html": "

В статье «Кейс: заменили на Black Friday колл-центр KupiVIP роботом, и только 5 человек из 5000 поняли, что общаются с нейросетью<\/a>» на vc.ru меня, среди прочего, не могла не заинтересовать фраза, где автор рассказывает о росте конверсии с 6% до 8%:<\/p>\n

\n $\""количество$ \n<\/div>\n

Естественно, я задумался, на каком же объеме звонков был зафиксирован данный рост конверсии, и достаточен ли был этот объем, чтобы можно было достоверно утверждать, что голосовой робот эффективнее живых операторов колл-центра.<\/p>\n

Точно вопрос можно было бы сформулировать, например, следующим образом: какой минимальный объем звонков требуется сделать, чтобы с уровнем достоверности, например, 95% зафиксировать рост конверсии с 6% до 8%?<\/b><\/p>\n

Строим эксперимент в Excel<\/h2>\n
Попробуем выписать имеющиеся данные в Excel. Для дальнейших расчетов нам понадобится параметр «число звонков»<\/i> — предположим пока, что и робот, и операторы сделали по 1000 звонков, прежде чем были получены конверсии 6% и 8%:<\/p>\n
\n $\"\"$ \n<\/div>\n
Вообще, налицо обычный А\/Б сплит-тест, и далее нам нужно будет пройтись по его алгоритму для получения Z-оценки<\/i> и расчета p-значения<\/i>.<\/p>\n
Рассчитаем стандартные ошибки (SD, или σ) для обеих конверсий и стандартную ошибку разницы этих конверсий. Формула для расчета стандартной ошибки конверсии:<\/p>\n
\n $\"\"$ \n<\/div>\n
где p<\/i> — конверсия (6%, например), n<\/i> — размер выборки (1000 звонков). Считаем в Excel:<\/p>\n
\n $\"\"$ \n<\/div>\n
Стандартная ошибка разницы конверсий — считаем по формуле:<\/p>\n
\n $\"\"$ \n<\/div>\n
где σ — это стандартная ошибка каждой из конверсий A и B (оператор и робот). В Excel посчитаем ее чуть ниже:<\/p>\n
\n $\"\"$ \n<\/div>\n
Насколько разница между конверсиями A и B больше, чем стандартная ошибка этой разницы? Это соотношение называется Z-оценкой.<\/b><\/i> В Excel считается совсем просто:<\/p>\n
\n $\"\"$ \n<\/div>\n
Итак, Z-оценка = 1,7541. На графике нормального распределения это соответствует 96%-му персентилю, то есть, вероятность, что Z-оценка случайно окажется выше 1,7541 составляет порядка 4% (иными словами, 96% площади под колоколом нормального распределения не выходят за пределы +1,7541 стандартных отклонений):<\/p>\n
\n $\"\"$ \n<\/div>\n
Откуда мы взяли именно 96%? Точное значение вероятности, p-значение,<\/i> вычисляем по формуле:<\/p>\n
=НОРМ.РАСП(1,7541;0;1;ИСТИНА)<\/code><\/pre>\n\n<\/div>\nP-значение = 96,03%.<\/p>\n Итак, промежуточный вывод: если на выборке в 1000 звонков в каждом из двух случаев мы обнаружили конверсии (активации промокода) в 6% и 8% звонков, то мы на 96% уверены, что эта разница не случайна.<\/b> (Остается 4% вероятности, что обнаруженная разница — случайность. Тогда, возможно, конверсия вообще одинакова и равна, например, 7%. Сделай мы больше звонков, разница вскоре сошла бы на нет).<\/p>\n Эксперимент минимального размера<\/h2>\nОднако, вернемся к первоначальной задаче.<\/p>\n Мы не хотели убедиться, что 8% больше, чем 6%, да и цифра 1000 звонков для робота и операторов была выбрана наугад. Мы хотели рассчитать минимальное количество звонков, чтобы с уровнем уверенности 95% зафиксировать статистическую значимость разницы между 8% и 6%.<\/b><\/p>\n 1000 звонков нам оказалось точно достаточно. Теперь нам остается уменьшать это число до той поры, пока p-значение не пересечет границу 95%. (По формуле нормального распределения, кстати, это будет соответствовать Z-оценке, равной 1,6449 — попробуйте проверить.)<\/p>\n В теории, наверное, можно было бы вывести большую формулу для расчета такого n,<\/i> при котором p-значение будет равно 0,95. На практике, быстрее окажется вручную подобрать минимальное n. Или, еще лучше, воспользоваться в Excel инструментом Данные — Анализ «что, если» — Подбор параметра:<\/b><\/p>\n \n\n<\/div>\n(Убедитесь только, что число звонков робота ровно то же самое, что и число звонков оператора, т. е. вы указали =C6 в ячейке C7).<\/p>\n \n\n<\/div>\nВыводы<\/h2>\nИтак, мы вычислили минимальные условия эксперимента для оценки эффективности голосового робота для KupiVIP.<\/p>\n Нужно не менее 878 звонков в каждой из двух групп, чтобы с уровнем достоверности 95% подтвердить наличие разницы между 6% активаций промокодов в контрольной группе (реальные сотрудники) и 8% в тестовой группе (голосовой робот).<\/b><\/p>\n (Единственное, ни 6%, ни 8% не дают целого числа активаций на выборке из 878 звонков, и, в реальности, конечно, цифры будут другие, причем число звонков в двух группах вообще может быть различным. Но, на самом деле, это не имеет большого значения, т. к., наверняка, в статье были приведены округленные значения конверсий).<\/p>\n См. также:<\/h2>\nhttps:\/\/abtestguide.com\/calc\/?ua=1000&ub=1000&ca=60&cb=80<\/a><\/p>\n", "date_published": "2019-07-20T13:18:48+03:00", "date_modified": "2019-07-20T14:35:26+03:00", "image": "https:\/\/mathandcoffee.ru\/pictures\/CodeCogsEqn03.png", "_date_published_rfc2822": "Sat, 20 Jul 2019 13:18:48 +0300", "_rss_guid_is_permalink": "false", "_rss_guid": "27", "_e2_data": { "is_favourite": false, "links_required": [ "system\/library\/highlight\/highlight.js", "system\/library\/highlight\/highlight.css", "system\/library\/highlight\/highlight.js", "system\/library\/highlight\/highlight.css" ], "og_images": [ "https:\/\/mathandcoffee.ru\/pictures\/CodeCogsEqn03.png", "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_00.PNG", "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_01.PNG", "https:\/\/mathandcoffee.ru\/pictures\/CodeCogsEqn.png", "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_02.PNG", "https:\/\/mathandcoffee.ru\/pictures\/CodeCogsEqn02.png", "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_03.PNG", "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_04.PNG", "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_05.PNG", "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_06.PNG", "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_07.PNG", "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_08.PNG" ] } }, { "id": "21", "url": "https:\/\/mathandcoffee.ru\/all\/v-kazhdom-pyatom-zvonke-problemy-proveryaem\/", "title": "«В каждом пятом» звонке проблемы, проверяем", "content_html": " На днях пришел в голову такой пример: предположим, подрядчик жалуется на плохую связь «в каждом пятом» звонке.<\/b><\/p>\n Наша задача проверить, справедлива ли гипотеза, что 20% звонков имеют проблемы со связью.<\/b> Причем, как всегда, мы не просто сделаем 100 тестовых звонков (на это у нас нет ресурсов), а сформулируем нулевую гипотезу, альтернативную гипотезу, и проверим ее с заданным уровнем достоверности.<\/p>\n Выдвигаем гипотезу и определяем уровень достоверности<\/h2>\nНулевой гипотезой (H_{0<\/sub>)<\/i><\/b> пусть будет предположение, что со связью все в порядке, или, по крайней мере, проблемы встречаются реже, чем в 20% звонков.<\/p>\n} Альтернативной гипотезой (H_{1<\/sub>),<\/i><\/b> которую мы будем проверять, пусть будет предположение подрядчика, что в каждом пятом звонке наблюдаются помехи. То есть, по крайней мере, в 20% звонков есть проблемы со связью.<\/p>\n} Уровень достоверности<\/b> — это наша уверенность в результатах эксперимента. Чем он выше, тем больше придется сделать проверочных звонков, поэтому мы заложим 1% на возможную ошибку, и выберем уровень достоверности в 99% (1%, что, если даже эксперимент не подтвердит проблем со связью, они, в действительности, могут быть).<\/p>\n Cобираем формулу для расчета выборки<\/h2>\nПредположим, цель эксперимента — опровергнуть<\/i> альтернативную гипотезу H_{1<\/sub> («есть проблемы»), подтвердив нулевую гипотезу H_{0<\/sub> («все в порядке»). Чтобы сделать это, нам будет достаточно продемонстрировать N подряд успешных звонков без признаков проблем со связью, при этом допуская вероятность, равную или меньше 1%, что нам просто повезет, и, при наличии, в действительности, проблем с оборудованием, они случайно не проявят себя ни в одном из N звонков.<\/p>\n}} Из предположения подрядчика вытекает, что 80% звонков не имеют проблем. Вероятность отсутствия сбоев в N звонках подряд равна 0,80^{N<\/sup>. Нам нужно подобрать минимальное N, при котором вероятность упадет до 1%: 0,80^{N<\/sup> = 1%<\/p>\n}} Получается, нам нужно вычислить логарифм 1% по основанию 80%!<\/p>\n \n\n<\/div>\nЗагружаем в Гугл Таблицы:<\/p>\n \n\n<\/div>\nФормула для ячейки C5 будет выглядеть как<\/p>\n =LOG(1-C2;1-C3)<\/code><\/pre>\n\n<\/div>\nНужно сделать 20,64 звонка. (Проверяем: 0,80^{20,64<\/sup> = 0,9995%, идеально.)<\/p>\n} Остается только добавить округление:<\/p>\n =ОКРУГЛВВЕРХ(C5)<\/code><\/pre>или сразу<\/p>\n =ОКРУГЛВВЕРХ(LOG(1-C2;1-C3))<\/code><\/pre>\n\n<\/div>\nПроверяем гипотезу<\/h2>\nЕсли альтернативная гипотеза H_{1<\/sub><\/i> нашего подрядчика верна, и мы испытываем проблемы со связью в каждом пятом звонке, то, вероятность не заметить проблем в 21 тестовом звонке подряд составляет порядка 1%. Иными словами, либо это крайне редкое совпадение (1%), либо альтернативная гипотеза о проблемах в 20% звонков неверна (99%), и мы оставляем нулевую гипозеу H_{0<\/sub><\/i>. С вероятностью 99% мы уверены, что проблем со связью не наблюдается.<\/b><\/p>\n", "date_published": "2019-06-09T16:45:58+03:00", "date_modified": "2019-06-22T14:49:54+03:00", "image": "https:\/\/mathandcoffee.ru\/pictures\/every5th01.PNG", "_date_published_rfc2822": "Sun, 09 Jun 2019 16:45:58 +0300", "_rss_guid_is_permalink": "false", "_rss_guid": "21", "_e2_data": { "is_favourite": false, "links_required": [ "system\/library\/highlight\/highlight.js", "system\/library\/highlight\/highlight.css", "system\/library\/highlight\/highlight.js", "system\/library\/highlight\/highlight.css", "system\/library\/highlight\/highlight.js", "system\/library\/highlight\/highlight.css", "system\/library\/highlight\/highlight.js", "system\/library\/highlight\/highlight.css", "system\/library\/highlight\/highlight.js", "system\/library\/highlight\/highlight.css", "system\/library\/highlight\/highlight.js", "system\/library\/highlight\/highlight.css" ], "og_images": [ "https:\/\/mathandcoffee.ru\/pictures\/every5th01.PNG", "https:\/\/mathandcoffee.ru\/pictures\/every5th00.PNG", "https:\/\/mathandcoffee.ru\/pictures\/every5th02.PNG", "https:\/\/mathandcoffee.ru\/pictures\/every5th03.PNG" ] } }, { "id": "22", "url": "https:\/\/mathandcoffee.ru\/all\/skolko-minut-mozhno-sidet-bez-zvonkov\/", "title": "Сколько минут возможно просидеть без звонков", "content_html": "}} Или вот еще был случай: разгар рабочего дня в отделе продаж, телефон молчит уже полчаса.<\/p>\n Варианта два: либо технический сбой, либо это просто случайно подзатянувшаяся пауза, и вот-вот поступит очередной звонок от клиента.<\/p>\n Попробуем разобраться, сколько минут можно просидеть в тишине, прежде чем надо начинать беспокоиться.<\/p>\n Неочевидный параметр телефонного звонка<\/h2>\nКакими вообще параметрами обладает телефонный звонок в отделе продаж или в коллцентре? Дата и время, скорость ответа, длительность, день недели, номер линии, номер клиента<\/i> — вот самые очевидные характеристики, по которым можно анализировать поступающие звонки.<\/p>\n Где-то в тени прячется еще один параметр — а именно, длительность паузы<\/b> (промежутка без звонков), предшествующей очередному звонку.<\/b> Например, звонок поступил в 14:07 13 февраля и продлился 3 мин 52 сек. Это то, что видно в выгрузке, в логах АТС или в CRM. Не менее любопытно, что, если предыдущий звонок был зарегистрирован в 14:01, то пауза в 6 минут является тем самым неочевидным параметром, который тоже можно было бы проанализировать.<\/p>\n Допустим, возьмем звонки в коллцентр в будние дни с 10 до 19 часов. Посчитаем разность в минутах между двумя соседними звонками — «0», если прошло меньше минуты, «1» — от одной до двух минут (от 01:00 до 01:59), и так далее. Проанализировав тысячи звонков, получаем примерно такую таблицу:<\/p>\n \n\n\n\n\n\n\n\n\n\n\n\nПауза перед звонком, минут<\/b><\/td>\n Число звонков<\/b><\/td>\n Доля звонков<\/b><\/td>\n Доля звонков накопленным итогом<\/b><\/td>\n<\/tr>\n 0<\/td>\n 19 641<\/td>\n 21,3%<\/td>\n 21,3%<\/td>\n<\/tr>\n 1<\/td>\n 16 299<\/td>\n 17,7%<\/td>\n 39,0%<\/td>\n<\/tr>\n 2<\/td>\n 12 137<\/td>\n 13,2%<\/td>\n 52,2%<\/td>\n<\/tr>\n 3<\/td>\n 9 251<\/td>\n 10,0%<\/td>\n 62,1%<\/td>\n<\/tr>\n 4<\/td>\n 7 276<\/td>\n 7,9%<\/td>\n 70,1%<\/td>\n<\/tr>\n ...<\/td>\n ...<\/td>\n ...<\/td>\n ...<\/td>\n<\/tr>\n 23<\/td>\n 139<\/td>\n 0,2%<\/td>\n 99,4%<\/td>\n<\/tr>\n ...<\/td>\n ...<\/td>\n ...<\/td>\n ...<\/td>\n<\/tr>\n 40<\/td>\n 10<\/td>\n 0,0%<\/td>\n 100,0%<\/td>\n<\/tr>\n<\/table>\n<\/div>\n(Строго говоря, паузы более 40 минут тоже присутствуют, но их доля ничтожно мала, поэтому, округляя до десятых, мы достигаем 100% уже на 40 минутах.)<\/p>\n Простая идея «аномальных» пауз<\/h2>\nИтого, мы имеем удивительно красивую гистограмму распределения длительности пауз между звонками. Что примечательно, длительности пауз убывают по экспоненте:<\/p>\n \n\n<\/div>\nВернемся к тому, что мы вообще хотели посчитать в самом начале.<\/p>\n У нас родилась идея, что рано или поздно, перерыв между звонками в середине рабочего дня становится таким длительным, что это начинает вызывать тревогу у менеджеров.<\/b> Логично предположить, что в каждом отделе продаж или коллцентре тревогу вызывать будут затянувшиеся паузы разной длительности — для больших коллцентров перерыв в 5 минут это уже очень маловероятно, для других — 5 минут это стандартный промежуток между звонками, а вот 55 минут — уже очень подозрительно.<\/p>\n А что если попробовать сформулировать идею «аномально» затянувшейся паузы между звонками таким образом: это такая пауза, которая встречается чрезвычайно редко, например, раз в неделю, или раз в месяц, или раз в полгода. Определим для себя уровень «аномалии», кажущийся нам разумным, и посчитаем, паузы какой длительности встречаются примерно так редко, как мы определили нашу «аномалию».<\/b><\/p>\n Например, пусть аномальной будет считаться пауза, которая, в среднем, встречается раз в неделю.<\/b><\/p>\n Если в нашу таблицу длительностей пауз между звонками попали звонки за прошедший год, логично, что количество «аномальных» («раз в неделю») пауз там будет порядка 52 штук (по числу недель).<\/p>\n Итак, нам нужно отсчитать 52 звонка с самыми длительными паузами перед ними.<\/b> В моей таблице нашлось 47 звонков с паузами 38+ минут, затем идут 57 звонков с паузами 37+ и более минут.<\/p>\n Таким образом, можно сделать вывод, что пауза в 37-38 минут между звонками в будний день должна настораживать: либо перед нами еженедельная «аномалия», наблюдаемся порядка 52 раз в год, либо речь идет о том, что мог произойти технический сбой, и звонки перестали поступать.<\/b><\/p>\n", "date_published": "2019-06-09T12:10:35+03:00", "date_modified": "2019-06-09T12:47:13+03:00", "image": "https:\/\/mathandcoffee.ru\/pictures\/poisson00.png", "_date_published_rfc2822": "Sun, 09 Jun 2019 12:10:35 +0300", "_rss_guid_is_permalink": "false", "_rss_guid": "22", "_e2_data": { "is_favourite": false, "links_required": [], "og_images": [ "https:\/\/mathandcoffee.ru\/pictures\/poisson00.png" ] } }, { "id": "12", "url": "https:\/\/mathandcoffee.ru\/all\/kachestvo-zvonkov-skolko-proslushat\/", "title": "Качество звонков: сколько нужно прослушать", "content_html": " Распространенным инструментом оценки качества работы менеджеров отдела продаж является аудит качества телефонных звонков,<\/b> «прослушка».<\/p>\n Предположим, вы задались целью не просто замерить<\/b> качество телефонных звонков, но зафиксировать рост<\/i> этого качества.<\/b> Например, провели обучение (тренинг) менеджеров, либо предложили новую мотивацию за соблюдение стандартов качества, либо что-то еще.<\/p>\n Логично предположить, что рост качества в первом попавшемся, после тренинга, звонке, не будет однозначно свидетельствовать о росте качества в остальных звонках. Скорее всего, и второй удачный звонок тоже однозначно не подтвердит гипотезу, что качество выросло.<\/p>\n Таким образом, речь будет идти о том, что вам придется прослушать если не все, то, по крайней мере, достаточное число звонков после введенных вами изменений, и число звонков, которые необходимо будет прослушать, на самом деле, можно однозначно рассчитать.<\/b><\/p>\n Считаем размер выборки<\/h2>\nНа 15-й странице работы «Планирование размеров выборки для исследований в бихевиоризме<\/a>» мне попался подходящий пример 2.4 и формула для расчета таких выборок:<\/p>\n \n\n<\/div>\nВ данном примере рассматривается изменение оценки ACT<\/a>-теста по математике с 24,5 (дисперсия 8,2) до 26,0 баллов при α = 0,05 и мощности = 0,90.<\/p>\n Для удобства работы, я собрал приведенную формулу в Гугл-таблицах: \nКалькулятор размера выборки<\/a><\/p>\n \n\n<\/div>\nВам остается скопировать файл, и можете подставлять нужные вам значения. Достоверность разумно выбирать от 80% до 95%, значение мощности — от 60% до 80%. Указываете средний балл оценки звонков до изменений, стандартное отклонение (SD) оценки звонков «до», и ожидаемый средний балл оценки звонков после изменений.<\/p>\nВерификация полученных результатов<\/h2>\nВажно понимать, что, даже прослушав требуемое количество звонков «после», все равно необходимо проверять наличие статистически значимых различий через калькулятор А\/Б-тестов<\/a>.<\/p>\n См. также:<\/h2>\nhttps:\/\/habr.com\/ru\/post\/339798\/<\/a> \nhttps:\/\/people.ucsc.edu\/~dgbonett\/docs\/wrkshp\/LectureNotes.pdf<\/a><\/p>\n", "date_published": "2019-05-26T16:46:00+03:00", "date_modified": "2026-04-18T14:39:56+03:00", "image": "https:\/\/mathandcoffee.ru\/pictures\/samplesize00.PNG", "_date_published_rfc2822": "Sun, 26 May 2019 16:46:00 +0300", "_rss_guid_is_permalink": "false", "_rss_guid": "12", "_e2_data": { "is_favourite": false, "links_required": [], "og_images": [ "https:\/\/mathandcoffee.ru\/pictures\/samplesize00.PNG", "https:\/\/mathandcoffee.ru\/pictures\/samplesize01.PNG" ] } } ], "_e2_version": 3565, "_e2_ua_string": "E2 (v3565; Aegea)" }