{ "version": "https:\/\/jsonfeed.org\/version\/1", "title": "Математика и кофе: заметки с тегом А\/Б-тесты", "_rss_description": "Отделы продаж, коллцентры, аналитика, цифры и данные, воронки продаж, матстатистика..", "_rss_language": "ru", "_itunes_email": "", "_itunes_categories_xml": "", "_itunes_image": "", "_itunes_explicit": "", "home_page_url": "https:\/\/mathandcoffee.ru\/tags\/a-b-testy\/", "feed_url": "https:\/\/mathandcoffee.ru\/tags\/a-b-testy\/json\/", "icon": "https:\/\/mathandcoffee.ru\/user\/userpic@2x.jpg?1559386410", "author": { "name": "Иван Балдин", "url": "https:\/\/mathandcoffee.ru\/", "avatar": "https:\/\/mathandcoffee.ru\/user\/userpic@2x.jpg?1559386410" }, "items": [ { "id": "27", "url": "https:\/\/mathandcoffee.ru\/all\/golosovoy-robot-kupivip-ugadyvaem-razmer-vyborki\/", "title": "Голосовой робот KupiVIP, угадываем размер выборки", "content_html": "

В статье «Кейс: заменили на Black Friday колл-центр KupiVIP роботом, и только 5 человек из 5000 поняли, что общаются с нейросетью<\/a>» на vc.ru меня, среди прочего, не могла не заинтересовать фраза, где автор рассказывает о росте конверсии с 6% до 8%:<\/p>\n

\n\""количество\n<\/div>\n

Естественно, я задумался, на каком же объеме звонков был зафиксирован данный рост конверсии, и достаточен ли был этот объем, чтобы можно было достоверно утверждать, что голосовой робот эффективнее живых операторов колл-центра.<\/p>\n

Точно вопрос можно было бы сформулировать, например, следующим образом: какой минимальный объем звонков требуется сделать, чтобы с уровнем достоверности, например, 95% зафиксировать рост конверсии с 6% до 8%?<\/b><\/p>\n

Строим эксперимент в Excel<\/h2>\n

Попробуем выписать имеющиеся данные в Excel. Для дальнейших расчетов нам понадобится параметр «число звонков»<\/i> — предположим пока, что и робот, и операторы сделали по 1000 звонков, прежде чем были получены конверсии 6% и 8%:<\/p>\n

\n\"\"\n<\/div>\n

Вообще, налицо обычный А\/Б сплит-тест, и далее нам нужно будет пройтись по его алгоритму для получения Z-оценки<\/i> и расчета p-значения<\/i>.<\/p>\n

Рассчитаем стандартные ошибки (SD, или σ) для обеих конверсий и стандартную ошибку разницы этих конверсий. Формула для расчета стандартной ошибки конверсии:<\/p>\n

\n\"\"\n<\/div>\n

где p<\/i> — конверсия (6%, например), n<\/i> — размер выборки (1000 звонков). Считаем в Excel:<\/p>\n

\n\"\"\n<\/div>\n

Стандартная ошибка разницы конверсий — считаем по формуле:<\/p>\n

\n\"\"\n<\/div>\n

где σ — это стандартная ошибка каждой из конверсий A и B (оператор и робот). В Excel посчитаем ее чуть ниже:<\/p>\n

\n\"\"\n<\/div>\n

Насколько разница между конверсиями A и B больше, чем стандартная ошибка этой разницы? Это соотношение называется Z-оценкой.<\/b><\/i> В Excel считается совсем просто:<\/p>\n

\n\"\"\n<\/div>\n

Итак, Z-оценка = 1,7541. На графике нормального распределения это соответствует 96%-му персентилю, то есть, вероятность, что Z-оценка случайно окажется выше 1,7541 составляет порядка 4% (иными словами, 96% площади под колоколом нормального распределения не выходят за пределы +1,7541 стандартных отклонений):<\/p>\n

\n\"\"\n<\/div>\n

Откуда мы взяли именно 96%? Точное значение вероятности, p-значение,<\/i> вычисляем по формуле:<\/p>\n

=НОРМ.РАСП(1,7541;0;1;ИСТИНА)<\/code><\/pre>
\n\"\"\n<\/div>\n
P-значение = 96,03%.<\/p>\n
Итак, промежуточный вывод: если на выборке в 1000 звонков в каждом из двух случаев мы обнаружили конверсии (активации промокода) в 6% и 8% звонков, то мы на 96% уверены, что эта разница не случайна.<\/b> (Остается 4% вероятности, что обнаруженная разница — случайность. Тогда, возможно, конверсия вообще одинакова и равна, например, 7%. Сделай мы больше звонков, разница вскоре сошла бы на нет).<\/p>\n
Эксперимент минимального размера<\/h2>\n
Однако, вернемся к первоначальной задаче.<\/p>\n
Мы не хотели убедиться, что 8% больше, чем 6%, да и цифра 1000 звонков для робота и операторов была выбрана наугад. Мы хотели рассчитать минимальное количество звонков, чтобы с уровнем уверенности 95% зафиксировать статистическую значимость разницы между 8% и 6%.<\/b><\/p>\n
1000 звонков нам оказалось точно достаточно. Теперь нам остается уменьшать это число до той поры, пока p-значение не пересечет границу 95%. (По формуле нормального распределения, кстати, это будет соответствовать Z-оценке, равной 1,6449 — попробуйте проверить.)<\/p>\n
В теории, наверное, можно было бы вывести большую формулу для расчета такого n,<\/i> при котором p-значение будет равно 0,95. На практике, быстрее окажется вручную подобрать минимальное n. Или, еще лучше, воспользоваться в Excel инструментом Данные — Анализ «что, если» — Подбор параметра:<\/b><\/p>\n
\n\"\"\n<\/div>\n
(Убедитесь только, что число звонков робота ровно то же самое, что и число звонков оператора, т. е. вы указали =C6 в ячейке C7).<\/p>\n
\n\"\"\n<\/div>\n
Выводы<\/h2>\n
Итак, мы вычислили минимальные условия эксперимента для оценки эффективности голосового робота для KupiVIP.<\/p>\n
Нужно не менее 878 звонков в каждой из двух групп, чтобы с уровнем достоверности 95% подтвердить наличие разницы между 6% активаций промокодов в контрольной группе (реальные сотрудники) и 8% в тестовой группе (голосовой робот).<\/b><\/p>\n
(Единственное, ни 6%, ни 8% не дают целого числа активаций на выборке из 878 звонков, и, в реальности, конечно, цифры будут другие, причем число звонков в двух группах вообще может быть различным. Но, на самом деле, это не имеет большого значения, т. к., наверняка, в статье были приведены округленные значения конверсий).<\/p>\n
См. также:<\/h2>\n
https:\/\/abtestguide.com\/calc\/?ua=1000&ub=1000&ca=60&cb=80<\/a><\/p>\n",
            "date_published": "2019-07-20T13:18:48+03:00",
            "date_modified": "2019-07-20T14:35:26+03:00",
            "image": "https:\/\/mathandcoffee.ru\/pictures\/CodeCogsEqn03.png",
            "_date_published_rfc2822": "Sat, 20 Jul 2019 13:18:48 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "27",
            "_e2_data": {
                "is_favourite": false,
                "links_required": [
                    "system\/library\/highlight\/highlight.js",
                    "system\/library\/highlight\/highlight.css",
                    "system\/library\/highlight\/highlight.js",
                    "system\/library\/highlight\/highlight.css"
                ],
                "og_images": [
                    "https:\/\/mathandcoffee.ru\/pictures\/CodeCogsEqn03.png",
                    "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_00.PNG",
                    "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_01.PNG",
                    "https:\/\/mathandcoffee.ru\/pictures\/CodeCogsEqn.png",
                    "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_02.PNG",
                    "https:\/\/mathandcoffee.ru\/pictures\/CodeCogsEqn02.png",
                    "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_03.PNG",
                    "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_04.PNG",
                    "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_05.PNG",
                    "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_06.PNG",
                    "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_07.PNG",
                    "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_08.PNG"
                ]
            }
        },
        {
            "id": "12",
            "url": "https:\/\/mathandcoffee.ru\/all\/kachestvo-zvonkov-skolko-proslushat\/",
            "title": "Качество звонков: сколько нужно прослушать",
            "content_html": "
Распространенным инструментом оценки качества работы менеджеров отдела продаж является аудит качества телефонных звонков,<\/b> «прослушка».<\/p>\n
Предположим, вы задались целью не просто замерить<\/b> качество телефонных звонков, но зафиксировать рост<\/i> этого качества.<\/b> Например, провели обучение (тренинг) менеджеров, либо предложили новую мотивацию за соблюдение стандартов качества, либо что-то еще.<\/p>\n
Логично предположить, что рост качества в первом попавшемся, после тренинга, звонке, не будет однозначно свидетельствовать о росте качества в остальных звонках. Скорее всего, и второй удачный звонок тоже однозначно не подтвердит гипотезу, что качество выросло.<\/p>\n
Таким образом, речь будет идти о том, что вам придется прослушать если не все, то, по крайней мере, достаточное число звонков после введенных вами изменений, и число звонков, которые необходимо будет прослушать, на самом деле, можно однозначно рассчитать.<\/b><\/p>\n
Считаем размер выборки<\/h2>\n
На 15-й странице работы «Планирование размеров выборки для исследований в бихевиоризме<\/a>» мне попался подходящий пример 2.4 и формула для расчета таких выборок:<\/p>\n
\n\"\"\n<\/div>\n
В данном примере рассматривается изменение оценки ACT<\/a>-теста по математике с 24,5 (дисперсия 8,2) до 26,0 баллов при α = 0,05 и мощности = 0,90.<\/p>\n
Для удобства работы, я собрал приведенную формулу в Гугл-таблицах:
\nКалькулятор размера выборки<\/a><\/p>\n
\n\"\"\n<\/div>\n
Вам остается скопировать файл, и можете подставлять нужные вам значения. Достоверность разумно выбирать от 80% до 95%, значение мощности — от 60% до 80%. Указываете средний балл оценки звонков до изменений, стандартное отклонение (SD) оценки звонков «до», и ожидаемый средний балл оценки звонков после изменений.<\/p>\n
Верификация полученных результатов<\/h2>\n
Важно понимать, что, даже прослушав требуемое количество звонков «после», все равно необходимо проверять наличие статистически значимых различий через калькулятор А\/Б-тестов<\/a>.<\/p>\n
См. также:<\/h2>\n
https:\/\/habr.com\/ru\/post\/339798\/<\/a>
\nhttps:\/\/people.ucsc.edu\/~dgbonett\/docs\/wrkshp\/LectureNotes.pdf<\/a><\/p>\n",
            "date_published": "2019-05-26T16:46:00+03:00",
            "date_modified": "2026-04-18T14:39:56+03:00",
            "image": "https:\/\/mathandcoffee.ru\/pictures\/samplesize00.PNG",
            "_date_published_rfc2822": "Sun, 26 May 2019 16:46:00 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "12",
            "_e2_data": {
                "is_favourite": false,
                "links_required": [],
                "og_images": [
                    "https:\/\/mathandcoffee.ru\/pictures\/samplesize00.PNG",
                    "https:\/\/mathandcoffee.ru\/pictures\/samplesize01.PNG"
                ]
            }
        }
    ],
    "_e2_version": 3565,
    "_e2_ua_string": "E2 (v3565; Aegea)"
}