![\"\"](\"https:\/\/mathandcoffee.ru\/pictures\/anomalii00.PNG\")
\n<\/div>\nВоспользовавшись «Условным форматированием» в Экселе, замечаем, что на 6-й неделе в офисе «Академический» было 503 продажи. В общем, до этого момента ничего необычного, и так выжали 90% из данных, можно работать с отчетом и анализировать, что душе угодно.<\/p>\n
Однако, есть несложная доработка, позволяющая выжать из данных еще лишние 5%.<\/p>\n
Что, собственно, ищем<\/h2>\n
На картинке особо не видно, но чем ниже по списку, тем меньше в среднем продаж в каждом следующем офисе. То есть, будем считать, что офисы продаж все очень разные, и некорректно сравнивать «Академический» с «Якиманкой» — нехитрым вычислением получается, что «Академический» в среднем делал 242 продажи в неделю, а «Якиманка» — всего 13. Предположим, что тому есть объективные причины, и никто и не требовал от всех офисов показывать одинаковые результаты.<\/p>\n
И тогда можно задать себе вопрос: достаточно ли просто анализировать абсолютные показатели по нашим офисам? И не будет ли правильнее копнуть вглубь, и попробовать найти такие показатели, которые выбиваются из общей картины?<\/b> Такие недели, которые были аномальными<\/i><\/b> для данного офиса продаж.<\/p>\n
Здесь и далее под «аномалией»<\/i> я буду понимать такое значение продаж, которое слишком отличается от среднего по данном офису.<\/b> Как в большую (и надо разобраться, как повторить этот результат) или в меньшую (проанализировать, как избежать неудачи в будущем) сторону.<\/p>\nРаспределяем результаты офиса «Академический»<\/h2>\n
Изучив результаты продаж офиса «Академический» за прошедшие 43 недели, мы рассчитали, что в среднем они делают 241,5 продаж в неделю, при этом стандартное отклонение (SD) равно 86,3.<\/p>\n
Напомню формулы:<\/p>\n
=СРЗНАЧ(B2:AR2)<\/code><\/pre>=СТАНДОТКЛОН.В(B2:AR2)<\/code><\/pre>Можно, гипотетически, представить, что мы имеем возможность наблюдать за результатами офиса «Академический» 200 (sic!) лет, при условии, что все это время среднее и стандартное отклонение не меняются, т. е., грубо говоря, они работают, как работали. В этом случае, мы увидели бы распределение результатов продаж, близкое к нормальному:<\/i><\/p>\n\n![\"\"](\"https:\/\/mathandcoffee.ru\/pictures\/anomalii01.PNG\")
\n<\/div>\nДавайте даже еще раз перерисуем картинку. 2 290 недель из 10 000 они бы делали от 200 до 249 продаж в неделю:<\/p>\n
\n![\"\"](\"https:\/\/mathandcoffee.ru\/pictures\/anomalii02.PNG\")
\n<\/div>\nПонимаете, к чему я клоню?<\/p>\n
Если только допустить, что результаты продаж подчиняются законам нормального распределения<\/i> (грубо говоря, равновероятно продать как чуть больше, так и чуть меньше среднего), существует некоторое разумное отклонение от среднего, в пределах которого было бы глупо всерьез говорить о «спаде продаж» или «невероятном успехе». Иными словами, бессмысленно считать «аномалией» то, что лежит в пределах разумного отклонения от среднего.<\/p>\n
Остается сформулировать критерии «разумности» и научить отчет сигнализировать об «аномалиях».<\/p>\n
Вспоминаем теорию<\/h2>\n
Если вкратце, то, допустив на минутку, что мы имеем дело с нормальным распределением,<\/i> вычислив среднее значение<\/i> и стандартное отклонение (SD),<\/i> мы можем уверенно говорить о том, что 90% данных в отчете не будут выходить за границы ±1,645SD от среднего.<\/b><\/p>\n
Применительно к офису «Академический» речь идет о том, что для 90% времени результаты их продаж будут лежать в диапазоне от 100 до 383, или 241,5±142,0. Поэтому до тех пор, пока цифры не вышли за пределы этих границ, мы не наблюдаем ничего необычного.<\/p>\n
Сразу оговоримся: конечно, степень «необычности», или «аномалии», каждый определяет для себя сам. Для одних, подозрение могут вызывать показатели, выбивающиеся за рамки 80%-ной вероятности (±1,28SD), для других — терпимым будет отклонение в ±1,96SD, что соответствует 95%-й вероятности. Тогда, первые будут бить искать причины «аномалии» в 20% случаев, вторые — в 5%. Каждую пятую неделю но отчете у коммерческого директора первые будут объяснять, что произошло, и почему, тогда как вторые будут делать это раз в 4-5 месяцев.<\/p>\n
Допущение о том, что продажи в территориальных офисах, число посетителей на сайте, количество рекламных звонков, клики по баннеру распределяются по закону нормального распределения, дало нам потрясающую возможность оценивать вероятность наступления «аномалии» — слишком сильного отклонения от среднего значения. Обратно, оно учит нас не бить тревогу там, где отклонение, хотя и есть, не является достаточно сильным, и делает, отчасти, бессмысленным анализ и разбор ситуаций, когда показатель отклоняется в пределах разумного.<\/p>\n
Перекрашиваем отчет, включаем зеленые и красные «лампочки»<\/h2>\n
Теперь мы хотим переделать отчет о продажах в территориальных офисах таким образом, чтобы напротив подозрительно больших или подозрительно маленьких значений загорались бы зеленые и красные «лампочки».<\/p>\n
Нам необходимо научить отчет «включать» наши «лампочки», если значение в ячейке становится больше или меньше границ 90%-го диапазона, т. е. в примерно 90% случаев ни одна из «лампочек» «загораться» не будет, в примерно 5% случаев будет «загораться» красная «лампочка», и еще в примерно 5% — зеленая.<\/p>\n
Применительно к «Академическому», мы хотим выделять красным значения, меньшие чем 241,5-1,645*86,3, т. е., меньшие, чем 100, и мы ходим выделять зеленым значения, большие, чем 241,5+1,645*86,3, т. е., большие, чем 383.<\/p>\n
Нам остается рассчитать границы включения «лампочек» по каждому из офисов продаж, рассчитав последовательно: среднее значение продаж, стандартное отклонение (SD), нижнюю границу 90%-го диапазона, верхнюю границу 90%-го диапазона.<\/p>\n
\n![\"\"](\"https:\/\/mathandcoffee.ru\/pictures\/anomalii03.PNG\")
\n<\/div>\nИспользуемые формулы:<\/p>\n
=СРЗНАЧ(B2:AR2)<\/code><\/pre>=СТАНДОТКЛОН.В(B2:AR2)<\/code><\/pre>=B2-1,645*C2<\/code><\/pre>=B2+1,645*C2<\/code><\/pre>У нас получилась следующая таблица, содержащая расчеты по нижним и верхним границам того, что мы далее будем считать «аномалией»:<\/p>\n
\n![\"\"](\"https:\/\/mathandcoffee.ru\/pictures\/anomalii04.PNG\")
\n<\/div>\nТеперь, используя инструмент «Условное форматирование» — «Правило выделения ячеек» — «Меньше...»\/«Больше...», последовательно для каждого из 17-ти офисов продаж настраиваем правила подсветки ячеек красным и зеленым, в зависимости от того, будет ли значение ниже нижней границы 90%-го диапазона, или выше верхней границы:<\/p>\n
\n\n![\"\"](\"https:\/\/mathandcoffee.ru\/pictures\/anomalii05.PNG\")
\n![\"\"](\"https:\/\/mathandcoffee.ru\/pictures\/anomalii06.PNG\")
\n<\/div>\n<\/div>\nДополнительно выставляем светло-серый цвет текста, чтобы подсвеченные «аномалии» были еще более заметны. Добавляем градиент от белого к светло-серому, чтобы сохранить первоначальную идею выделять большие значения более темной заливкой. Законченная таблица приобретает следующий вид:<\/p>\n
\n![\"\"](\"https:\/\/mathandcoffee.ru\/pictures\/anomalii07.PNG\")
\n<\/div>\nВыводы<\/h2>\n
Используя идею о разбросе значений вокруг среднего в нормальном распределении, нам удалось доработать наш отчет о территориальных офисах таким образом, что мы не просто видим результаты, но и теперь отдельно включаем красные и зеленые «лампочки» для тех результатов, которые представляют интерес, как «аномалии» — маловероятно маленькие или маловероятно большие значения, определив уровень «аномалии» как все, что выходит за пределы 90% вероятности.<\/p>\n",
"date_published": "2019-09-12T15:27:33+03:00",
"date_modified": "2019-09-12T17:41:05+03:00",
"image": "https:\/\/mathandcoffee.ru\/pictures\/anomalii00.PNG",
"_date_published_rfc2822": "Thu, 12 Sep 2019 15:27:33 +0300",
"_rss_guid_is_permalink": "false",
"_rss_guid": "30",
"_e2_data": {
"is_favourite": false,
"links_required": [
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css",
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css",
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css",
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css",
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css",
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css",
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css",
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css",
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css",
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css",
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css",
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css",
"system\/library\/jquery\/jquery.js",
"system\/library\/fotorama\/fotorama.css",
"system\/library\/fotorama\/fotorama.js"
],
"og_images": [
"https:\/\/mathandcoffee.ru\/pictures\/anomalii00.PNG",
"https:\/\/mathandcoffee.ru\/pictures\/anomalii01.PNG",
"https:\/\/mathandcoffee.ru\/pictures\/anomalii02.PNG",
"https:\/\/mathandcoffee.ru\/pictures\/anomalii03.PNG",
"https:\/\/mathandcoffee.ru\/pictures\/anomalii04.PNG",
"https:\/\/mathandcoffee.ru\/pictures\/anomalii05.PNG",
"https:\/\/mathandcoffee.ru\/pictures\/anomalii06.PNG",
"https:\/\/mathandcoffee.ru\/pictures\/anomalii07.PNG"
]
}
},
{
"id": "12",
"url": "https:\/\/mathandcoffee.ru\/all\/kachestvo-zvonkov-skolko-proslushat\/",
"title": "Качество звонков: сколько нужно прослушать",
"content_html": "
Распространенным инструментом оценки качества работы менеджеров отдела продаж является аудит качества телефонных звонков,<\/b> «прослушка».<\/p>\n
Предположим, вы задались целью не просто замерить<\/b> качество телефонных звонков, но зафиксировать рост<\/i> этого качества.<\/b> Например, провели обучение (тренинг) менеджеров, либо предложили новую мотивацию за соблюдение стандартов качества, либо что-то еще.<\/p>\n
Логично предположить, что рост качества в первом попавшемся, после тренинга, звонке, не будет однозначно свидетельствовать о росте качества в остальных звонках. Скорее всего, и второй удачный звонок тоже однозначно не подтвердит гипотезу, что качество выросло.<\/p>\n
Таким образом, речь будет идти о том, что вам придется прослушать если не все, то, по крайней мере, достаточное число звонков после введенных вами изменений, и число звонков, которые необходимо будет прослушать, на самом деле, можно однозначно рассчитать.<\/b><\/p>\nСчитаем размер выборки<\/h2>\n
На 15-й странице работы «Планирование размеров выборки для исследований в бихевиоризме<\/a>» мне попался подходящий пример 2.4 и формула для расчета таких выборок:<\/p>\n\n![\"\"](\"https:\/\/mathandcoffee.ru\/pictures\/samplesize00.PNG\")
\n<\/div>\nВ данном примере рассматривается изменение оценки ACT<\/a>-теста по математике с 24,5 (дисперсия 8,2) до 26,0 баллов при α = 0,05 и мощности = 0,90.<\/p>\nДля удобства работы, я собрал приведенную формулу в Гугл-таблицах:
\nКалькулятор размера выборки<\/a><\/p>\n\n![\"\"](\"https:\/\/mathandcoffee.ru\/pictures\/samplesize01.PNG\")
\n<\/div>\nВам остается скопировать файл, и можете подставлять нужные вам значения. Достоверность разумно выбирать от 80% до 95%, значение мощности — от 60% до 80%. Указываете средний балл оценки звонков до изменений, стандартное отклонение (SD) оценки звонков «до», и ожидаемый средний балл оценки звонков после изменений.<\/p>\n
Верификация полученных результатов<\/h2>\n
Важно понимать, что, даже прослушав требуемое количество звонков «после», все равно необходимо проверять наличие статистически значимых различий через калькулятор А\/Б-тестов<\/a>.<\/p>\nСм. также:<\/h2>\n
https:\/\/habr.com\/ru\/post\/339798\/<\/a>
\nhttps:\/\/people.ucsc.edu\/~dgbonett\/docs\/wrkshp\/LectureNotes.pdf<\/a><\/p>\n",
"date_published": "2019-05-26T16:46:00+03:00",
"date_modified": "2026-04-18T14:39:56+03:00",
"image": "https:\/\/mathandcoffee.ru\/pictures\/samplesize00.PNG",
"_date_published_rfc2822": "Sun, 26 May 2019 16:46:00 +0300",
"_rss_guid_is_permalink": "false",
"_rss_guid": "12",
"_e2_data": {
"is_favourite": false,
"links_required": [],
"og_images": [
"https:\/\/mathandcoffee.ru\/pictures\/samplesize00.PNG",
"https:\/\/mathandcoffee.ru\/pictures\/samplesize01.PNG"
]
}
},
{
"id": "11",
"url": "https:\/\/mathandcoffee.ru\/all\/kadrovye-resheniya-ili-povysit-nelzya-uvolit\/",
"title": "Кадровые решения, или Повысить нельзя уволить",
"content_html": "Проблему, которую помогает решить использование матстатистики, я бы обозначил как «Повысить нельзя уволить» — вот перед нами результаты работы нашего отдела продаж, и назревают вопросы по нашему новому менеджеру Сухонцеву.<\/p>\n
\n![\"\"](\"https:\/\/mathandcoffee.ru\/pictures\/voronka01.PNG\")
\n<\/div>\nУ сотрудника подходит к концу испытательный срок, план по сделкам ему был выставлен как «16 сделок на 100 звонков», поскольку исторически коммерческий директор видел конверсию звонков в сделки на уровне 16,1%.<\/p>\n
Сухонцев, хорошо зарекомендовав себя за прошедшие 2,5 месяца работы, имеет 89 звонков и всего 9 сделок, что дает конверсию 10,1%.<\/p>\n
«Увольнять,» — решает коммерческий директор.<\/p>\n
Внимание, вопрос: справедливо ли решение коммерческого директора?<\/b> Достаточно ли прошло времени (накоплено данных), чтобы принимать такое кадровое решение? Учтен ли фактор «невезения», и не может ли быть так, что Сухонцев работает не хуже<\/b> остальных менеджеров, имея, в действительности, конверсию порядка требуемых 16%, но стабильно сталкиваясь с форс-мажорами у клиентов (5 клиентов «отвалились»), «черной полосой» в своей жизни и неудачно вставшей Луной в третьем доме Тельца?<\/p>\nБросаем игральные кости<\/h2>\n
Вспоминая пример с бросками монетки, для разнообразия, в этот раз будем бросать игральную кость с 6-ю гранями. Вероятность выкинуть «1» составляет 1\/6, или примерно 16,7%.<\/p>\n
Математическое ожидание для 89 бросков игральной кости составляет 89 * 1\/6 = 14,8 «единичек» (и по столько же «двоек», «троек» и т. д.), но, очевидно, их может быть не только 14-15, но и 12, 17, или, даже, 20. А вот совсем их не быть<\/i> практически не может (хотя, теоретически, вероятность этого не нулевая).<\/p>\n
Работу Сухонцева можно представить как броски игральной кости, где требуемый результат — «единичка»-сделка — выпадает примерно на каждый шестой бросок. Примерно,<\/i> потому что исторически наблюдаемся конверсия в сделки составляет (без учета работы Сухонцева) 380 сделок на 2361 звонков, или 380\/2361 = 16,1%. Математическое ожидание от его 89 «бросков» (звонков) составляет 89 * 0,161 = 14,3 «единичек» (сделок), но, интуитивно понятно, что их может быть чуть больше или чуть меньше.<\/p>\n
Если рассчитать (позже узнаем, как) точные вероятности «выпадения» определенного числа сделок на 89 звонков и вывести их на графике, то наиболее вероятное событие («математическое ожидание»)<\/i> в 14 сделок окажется в середине графика, остальные возможные варианты (13 и 15 сделок, 12 и 16 сделок, и т. п.) каждый раз становятся все менее и менее вероятны, из-за чего график приобретает форму колокола:<\/p>\n\n![\"\"](\"https:\/\/mathandcoffee.ru\/pictures\/voronka02.PNG\")
\n<\/div>\nСказать, что результат в 9 сделок совсем<\/i> невероятен не получается — какой-никакой, но этот столбик тоже заметен, и даже имеет вероятность в 0,037. Т. е., в 1 случае из 27 он случается, что, может, и маловероятно, но не крайне<\/i> маловероятно.<\/p>\n
Осталось разобраться, как мы получили вероятность «в 1 случае из 27», и как это связать с кадровыми решениями в отделе продаж.<\/p>\n
Считаем биномиальное распределение<\/h2>\n
И в Excel, и в Google Таблицах есть встроенная функция биномиального распределения.<\/b> Она-то и даст нам ответ на вопрос, пора ли увольнять невезучего Сухонцева.<\/p>\n
В ячейке напротив его конверсии в 10,1% посчитаем функцию:<\/p>\n
=БИНОМРАСП(D7;C7;$E$11;1)<\/code><\/pre>\n![\"\"](\"https:\/\/mathandcoffee.ru\/pictures\/voronka03.PNG\")
\n<\/div>\nВ данной функции указываем по порядку: значение числа успехов (сделок), значение числа попыток (звонков), значение вероятности успеха (конверсия 16,1%). Последний, 4-й параметр, указываем «1».<\/p>\n
\n![\"\"](\"https:\/\/mathandcoffee.ru\/pictures\/voronka04.PNG\")
\n<\/div>\nЧто за 0,0763 мы получили? 0,0763 — это вероятность получить не более 9 сделок на 89 звонков при вероятности сделки 16,1%.<\/b> Таким образом, это вероятность получить от 0 до 9 сделок включительно<\/i> при данных параметрах. Обратно, 1-0,0763 = 0,9237 — это вероятность получить 10 и более<\/i> сделок.<\/p>\n
(Кстати, если 4-й параметр в функции поменять на «0», мы получим вероятность получить ровно<\/b> 9 сделок).<\/p>\n\n![\"\"](\"https:\/\/mathandcoffee.ru\/pictures\/voronka05.PNG\")
\n<\/div>\nМожно сказать, что, принимая сумму всех столбиков на графике за 1, сумма столбиков «0»-«9» равна 0,0763, или 7,63%. Как видим, гораздо более вероятно попасть в синюю часть колокола нормального распределения, чем в красную (92,37% против 7,63%).<\/p>\n
Вывод: вероятность Сухонцеву, работая в действительности с конверсией 16,1%, случайно (возможна «черная полоса», помните?) получить не более 9 сделок из 89 звонков, равна 7,63%.<\/b> Обратно, 92,37% вероятность того, что Сухонцев получил бы 10 и более сделок. Грубо говоря, 7,63% за то, что ему не повезло, а 92,37% за то, что одним невезением тут не обошлось, и, скорее всего, он работает с конверсией ниже 16,1%.<\/p>\n
Таким образом, если для коммерческого директора уровня 90% уверенности достаточно, то Сухонцева можно увольнять с испытательного срока — менеджер, действительно, не выполняет план. Если же нужен уровень 95% уверенности, то данных пока недостаточно, и желательно понаблюдать чуть дальше.<\/p>\n
Какой же уровень уверенности выбрать? Правильного ответа здесь не существует.<\/p>\n
Если его выбрать слишком низким, то мы можем случайно уволить хороших менеджеров, зато не придется терять сделки, продолжая работать с плохими.<\/p>\n
Если выбрать его слишком высоким, то слишком долго придется копить данные для принятия математически обоснованного решения об увольнении плохого менеджера, зато и меньше вероятность случайно уволить хорошего. По моему мнению, уровень 90% для описанного кейса оптимален. Сухонцева можно увольнять.<\/p>\n
Постойте, а что с 19,7% Беляева?<\/h2>\n
Действительно, если существуют «плохие» менеджеры, для которых с вероятностью 92,37% конверсия ниже требуемых 16,1%, то, логично, могут существовать и «хорошие».<\/p>\n
\n![\"\"](\"https:\/\/mathandcoffee.ru\/pictures\/voronka06.PNG\")
\n<\/div>\nНаше внимание обратили на себя 19,7% конверсии Беляева. За полгода работы он сделал 56 сделок на 284 звонка, при прогнозируемых 0,161*284 = 46 сделках. Могло ли ему везти эти полгода? Могло ли быть так, что, работая в действительности как все, с конверсией 16,1%, он случайно получил больше сделок, чем прогнозировал коммерческий директор?<\/p>\n
Функция биномиального распределения дает результат в 0,9563 — то есть, с вероятностью 95,63%, работая как все, он бы получил не более 56 сделок... но он и не сделал более<\/i> 56 сделок! Он сделал ровно<\/i> 56!<\/p>\n
Доработаем функцию, пересчитав ее для 56-1 = 55 сделок:<\/p>\n
\n![\"\"](\"https:\/\/mathandcoffee.ru\/pictures\/voronka07.PNG\")
\n<\/div>\nДля 55 сделок результат получился 0,9402. То есть, с вероятностью 94,02% Беляев (работая с конверсией 16,1%) получил бы не более<\/i> 55 сделок. Получается, вероятность получить более<\/i> 55 сделок равна оставшимся 5,98%! Получается, наш Беляев попал в кусочек своего колокола распределения, только с другого конца, и вероятность попасть туда составляет всего около 6%.<\/p>\n\n![\"\"](\"https:\/\/mathandcoffee.ru\/pictures\/voronka08.PNG\")
\n<\/div>\nКоммерческий директор уже решил, что, прежде чем принимать кадровые решения, он хочет быть уверен в результатах на 90%. Но в результатах Беляева он уверен на 94,02%! Значит, остается всего 5,98% на то, что Беляеву повезло.<\/p>\n
Значит, либо ему так повезло, хотя он, в действительности, работает как все (с конверсией 16,1%) и недостоин большей зарплаты, либо, он работает с конверсией выше 16,1% и будет справедливо вознаградить его.<\/p>\n
6% явно проигрывают 94%, поэтому, Беляев получает повышение.<\/p>\n",
"date_published": "2019-03-29T18:03:34+03:00",
"date_modified": "2019-04-15T13:07:08+03:00",
"image": "https:\/\/mathandcoffee.ru\/pictures\/voronka01.PNG",
"_date_published_rfc2822": "Fri, 29 Mar 2019 18:03:34 +0300",
"_rss_guid_is_permalink": "false",
"_rss_guid": "11",
"_e2_data": {
"is_favourite": true,
"links_required": [
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css",
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css"
],
"og_images": [
"https:\/\/mathandcoffee.ru\/pictures\/voronka01.PNG",
"https:\/\/mathandcoffee.ru\/pictures\/voronka02.PNG",
"https:\/\/mathandcoffee.ru\/pictures\/voronka03.PNG",
"https:\/\/mathandcoffee.ru\/pictures\/voronka04.PNG",
"https:\/\/mathandcoffee.ru\/pictures\/voronka05.PNG",
"https:\/\/mathandcoffee.ru\/pictures\/voronka06.PNG",
"https:\/\/mathandcoffee.ru\/pictures\/voronka07.PNG",
"https:\/\/mathandcoffee.ru\/pictures\/voronka08.PNG"
]
}
}
],
"_e2_version": 3565,
"_e2_ua_string": "E2 (v3565; Aegea)"
}