{ "version": "https:\/\/jsonfeed.org\/version\/1", "title": "Математика и кофе: заметки с тегом конверсия", "_rss_description": "Отделы продаж, коллцентры, аналитика, цифры и данные, воронки продаж, матстатистика..", "_rss_language": "ru", "_itunes_email": "", "_itunes_categories_xml": "", "_itunes_image": "", "_itunes_explicit": "", "home_page_url": "https:\/\/mathandcoffee.ru\/tags\/konversiya\/", "feed_url": "https:\/\/mathandcoffee.ru\/tags\/konversiya\/json\/", "icon": "https:\/\/mathandcoffee.ru\/user\/userpic@2x.jpg?1559386410", "author": { "name": "Иван Балдин", "url": "https:\/\/mathandcoffee.ru\/", "avatar": "https:\/\/mathandcoffee.ru\/user\/userpic@2x.jpg?1559386410" }, "items": [ { "id": "45", "url": "https:\/\/mathandcoffee.ru\/all\/grafik-konversii-s-doveritelnym-intervalom\/", "title": "График конверсии с доверительным интервалом", "content_html": "

Некоторое время с удовольствием использую более свежую визуализацию конверсии, добавляя к своим диаграммам границы доверительного интервала.<\/b><\/p>\n

Конверсия офисов продаж<\/h2>\n
Итак, например, мы оцениваем эффективность работы территориальных офисов продаж. Под эффективностью<\/i><\/b> понимаем отношение числа совершенных продаж к числу заявок (конверсию заявок в продажи, или просто «конверсию»).<\/i><\/b> То есть, если в офисе «Сокольники» за квартал было 19 продаж на 33 заявки, их эффективность будем считать равной 19\/33 = 57,6%.<\/p>\n
\n $\"\"$ \n<\/div>\n
\n $\"\"$ \n<\/div>\n
Очевидно, что одни офисы работают эффективнее других: конверсия по офисам меняется от 57,6% до 17,6%. Заметно также, что и число заявок в офисах различно: от 33 заявок в «Сокольниках» до 706 заявок в «Лианозово».<\/p>\n
Обычно на этом этапе многие останавливаются, но есть несложный способ воспользоваться понятием «доверительного интервала» или «стандартного отклонения (SD)», чтобы показать то, что, на первый взгляд, не так заметно.<\/p>\n
Оцениваем размер выборки и величину SD<\/h2>\n
Как нетрудно заметить, из-за неравного числа заявок по разным офисам («Сокольники» отличаются в этом смысле от «Лианозово» почти в 22 раза), уверенность в надежности рассчитанной конверсии будет не одинакова. Так, для «Лианозово» результат в 36,1% достигнут на выборке из 706 заявок и может считаться вполне надежным; в «Сокольниках» мы получили результат 57,6% на небольшой выборке в 33 заявки, из-за чего нет уверенности, что, получи со временем последние свои 706 заявок, они бы удержали результат на том же уровне.<\/p>\n
Разумеется, необходимо прикинуть размер доверительного интервала для каждого офиса продаж, исходя из числа заявок, то есть, размера выборки.<\/p>\n
Уже знакомая нам формула стандартного отклонения (SD), или σ<\/i>:<\/p>\n
\n $\"\"$ \n<\/div>\n
где p<\/i> — величина конверсии, n<\/i> — число заявок.<\/p>\n
Считаем в колонке E:<\/p>\n
\n $\"\"$ \n<\/div>\n
Полученная величина стандартного отклонения (SD) показывает погрешность при расчете конверсии, и, очевидно, оказалась выше там, где была меньше выборка. Чем меньше данных, тем менее надежен рассчитанный результат, и тем меньше мы уверены в нашей оценке эффективности соответствующего офиса продаж.<\/p>\n
Считаем границы 90%-го доверительного интервала<\/h2>\n
Дополним нашу таблицу рассчитанными нижней и верхней границей 90%-го доверительного интервала. Другими словами, оценим разброс конверсий по каждому из офисов продаж, так, что с вероятностью 90% мы будем уверены, что истинная<\/i> конверсия лежит в пределах этого диапазона.<\/p>\n
\n $\"\"$ \n<\/div>\n
Зная о том, что границы 90%-го доверительного интервала лежат в пределах ±1,645SD, вычитаем и прибавляем 1,645SD для нижней и верхней границ, соответственно. Для «Лианозово» получаем, что их истинная<\/i> конверсия лежит в пределах от 33,1% до 39,1%. (По-прежнему, в 1 случае из 10 она выходит за границы нашего интервала, но зато в 9 случаях из 10 мы не ошиблись).<\/p>\n
Дополняем график, рисуя «свечи»<\/h2>\n
В Excel 2013 воспользуемся «биржевой диаграммой»,<\/b> указав вместо самого высокого<\/i><\/b> и самого низкого курсов<\/i><\/b> верхнюю и нижнюю границу наших доверительных интервалов, а вместо курса закрытия<\/i><\/b> — рассчитанную вначале конверсию:<\/p>\n
\n $\"\"$ \n<\/div>\n
\n $\"\"$ \n<\/div>\n
Доработанная подобным образом диаграмма не меняет выводов, полученных в самом начале. Однако, для наблюдательного руководителя она ненавязчиво напоминает, что полученные значения конверсий офисов продаж не конечны,<\/b> и особенно «не конечны» там, где оказались шире границы разброса конверсии.<\/p>\n
«Сокольники», предварительно, обогнали «Беговой», однако, если хороший результат «Бегового» надежен за счет узкого интервала, то результат «Сокольников» очень приблизителен, поэтому уверенные выводы возможно делать лишь о части офисов продаж, для остальных — нужно больше данных, а до тех пор их позиции в рейтинге можно считать лишь предварительными, или, как было сказано выше, не конечными.<\/p>\n
См. также:<\/h2>\n
http:\/\/italylov.ru\/blog\/all\/ctatisticheskaya-dostovernost-koltrekinga\/<\/a><\/p>\n", "date_published": "2021-05-25T01:13:50+03:00", "date_modified": "2021-05-25T01:17:18+03:00", "image": "https:\/\/mathandcoffee.ru\/pictures\/candles-sd-00.png", "_date_published_rfc2822": "Tue, 25 May 2021 01:13:50 +0300", "_rss_guid_is_permalink": "false", "_rss_guid": "45", "_e2_data": { "is_favourite": false, "links_required": [], "og_images": [ "https:\/\/mathandcoffee.ru\/pictures\/candles-sd-00.png", "https:\/\/mathandcoffee.ru\/pictures\/candles-sd-01.png", "https:\/\/mathandcoffee.ru\/pictures\/CodeCogsEqn.png", "https:\/\/mathandcoffee.ru\/pictures\/candles-sd-02.png", "https:\/\/mathandcoffee.ru\/pictures\/candles-sd-03.png", "https:\/\/mathandcoffee.ru\/pictures\/candles-sd-04.png", "https:\/\/mathandcoffee.ru\/pictures\/candles-sd-05.png" ] } }, { "id": "40", "url": "https:\/\/mathandcoffee.ru\/all\/doveritelny-interval-binomialnogo-raspredeleniya-po-metodu-uilso\/", "title": "Доверительный интервал биномиального распределения по методу Уилсона", "content_html": "
В процессе изучения биномиального распределения, обратил внимание, что стандартный способ определения доверительного интервала через ±1,645SD<\/i> не всегда точен. Грубо говоря, если «решка» выпала меньше, чем в 10 бросках, то, скорее всего, либо вы сделали мало бросков, либо у вас вероятность выпадения «решки» в «заколдованной монетке» сильно невелика; если np<\/i> < 10, лучше воспользоваться более сложными формулами, дающими более точные оценки при маленьких p<\/i> или n:<\/i><\/p>\n
По мнению многих статистиков, наиболее оптимальную оценку доверительных интервалов для частот осуществляет метод Уилсона (Wilson),<\/b> предложенный еще в 1927 году <...>. Данный метод не только позволяет оценить доверительные интервалы для очень малых и очень больших частот, но и применим для малого числа наблюдений.<\/i><\/p>\n
Звучит заманчиво. Попробуем разобраться.<\/p>\n
Метод Уилсона<\/h2>\n
Нижняя и верхняя граница доверительного интервала p = 1—α\/2<\/i> вычисляются следующими формулами:<\/p>\n
\n
\n $\"\"$ \n $\"\"$ \n<\/div>\n
Формула расчета нижней и верхней границ, соответственно.<\/div>\n<\/div>\n
где p<\/b><\/i> — наблюдаемая вероятность «выпадения решки», N<\/b><\/i> — число измерений («бросков»), z<\/b><\/i> — z-<\/i>оценка (например, 1,960 для 95%-го доверительного интервала, или 1,645 для 90%-го).<\/p>\n
Пример и калькулятор для расчета<\/h2>\n
Предположим, нам удалось прослушать 10 рандомных звонков колл-центра, и в 4 из них оператор забыл или поленился уточнить у клиента источник рекламы. Скорее всего, исходя из данной информации, операторы не уточняют источники рекламы в 40% звонков.<\/p>\n
Однако, это очень смелое утверждение, ведь наша выборка (10 звонков) откровенно мала: для получения более точной оценки качества работы коллцентра, хорошо бы прослушать больше рандомных звонков (прослушать все звонки, очевидно, невозможно).<\/p>\n
Но даже для выборки из 10 звонков, можно рассчитать SD биномиального распределения:<\/p>\n
\n $\"\"$ \n<\/div>\n
Имеем, SD = 15,49%. С вероятностью 90%, точная оценка качества работы коллцентра (доля звонков, где не выявлен источник рекламы) лежит в диапазоне 40%±1,645SD, или от 14,52% до 65,48%.<\/p>\n
Применяя же формулу Уилсона (что уместно, так как np<\/i> = 4 < 10), границы доверительного интервала уточняются: с вероятностью 90%, истинная доля звонков, где не выявляется источник рекламы, лежит в границах от 19,42% до 64,84%. SD, получается, равно 13,80%.<\/p>\n
Калькулятор<\/b><\/a> в Google Таблицах (меню «Файл» — «Создать копию»).<\/p>\n
См. также:<\/h2>\n«Доверительные интервалы для частот и долей<\/a>», А.М. Гржибовский, 2008 (стр. 58-59)
\n Онлайн-калькулятор<\/a> для 95%-го доверительного интервала
\n Калькулятор<\/a> на WolframAlpha.com
\n Binomial confidence intervals and contingency tests<\/a> (стр.4-5)
\n https:\/\/influentialpoints.com\/Training\/confidence_intervals_of_proportions.htm#wils<\/a>
\n Wilson score interval<\/a> на Википедии<\/p>\n", "date_published": "2020-04-01T16:54:50+03:00", "date_modified": "2020-04-01T16:55:04+03:00", "image": "https:\/\/mathandcoffee.ru\/pictures\/wilson01.PNG", "_date_published_rfc2822": "Wed, 01 Apr 2020 16:54:50 +0300", "_rss_guid_is_permalink": "false", "_rss_guid": "40", "_e2_data": { "is_favourite": false, "links_required": [ "system\/library\/jquery\/jquery.js", "system\/library\/fotorama\/fotorama.css", "system\/library\/fotorama\/fotorama.js" ], "og_images": [ "https:\/\/mathandcoffee.ru\/pictures\/wilson01.PNG", "https:\/\/mathandcoffee.ru\/pictures\/wilson02.PNG", "https:\/\/mathandcoffee.ru\/pictures\/CodeCogsEqn.png" ] } }, { "id": "27", "url": "https:\/\/mathandcoffee.ru\/all\/golosovoy-robot-kupivip-ugadyvaem-razmer-vyborki\/", "title": "Голосовой робот KupiVIP, угадываем размер выборки", "content_html": "
В статье «Кейс: заменили на Black Friday колл-центр KupiVIP роботом, и только 5 человек из 5000 поняли, что общаются с нейросетью<\/a>» на vc.ru меня, среди прочего, не могла не заинтересовать фраза, где автор рассказывает о росте конверсии с 6% до 8%:<\/p>\n
\n $\""количество$ \n<\/div>\n
Естественно, я задумался, на каком же объеме звонков был зафиксирован данный рост конверсии, и достаточен ли был этот объем, чтобы можно было достоверно утверждать, что голосовой робот эффективнее живых операторов колл-центра.<\/p>\n
Точно вопрос можно было бы сформулировать, например, следующим образом: какой минимальный объем звонков требуется сделать, чтобы с уровнем достоверности, например, 95% зафиксировать рост конверсии с 6% до 8%?<\/b><\/p>\n
Строим эксперимент в Excel<\/h2>\n
Попробуем выписать имеющиеся данные в Excel. Для дальнейших расчетов нам понадобится параметр «число звонков»<\/i> — предположим пока, что и робот, и операторы сделали по 1000 звонков, прежде чем были получены конверсии 6% и 8%:<\/p>\n
\n $\"\"$ \n<\/div>\n
Вообще, налицо обычный А\/Б сплит-тест, и далее нам нужно будет пройтись по его алгоритму для получения Z-оценки<\/i> и расчета p-значения<\/i>.<\/p>\n
Рассчитаем стандартные ошибки (SD, или σ) для обеих конверсий и стандартную ошибку разницы этих конверсий. Формула для расчета стандартной ошибки конверсии:<\/p>\n
\n $\"\"$ \n<\/div>\n
где p<\/i> — конверсия (6%, например), n<\/i> — размер выборки (1000 звонков). Считаем в Excel:<\/p>\n
\n $\"\"$ \n<\/div>\n
Стандартная ошибка разницы конверсий — считаем по формуле:<\/p>\n
\n $\"\"$ \n<\/div>\n
где σ — это стандартная ошибка каждой из конверсий A и B (оператор и робот). В Excel посчитаем ее чуть ниже:<\/p>\n
\n $\"\"$ \n<\/div>\n
Насколько разница между конверсиями A и B больше, чем стандартная ошибка этой разницы? Это соотношение называется Z-оценкой.<\/b><\/i> В Excel считается совсем просто:<\/p>\n
\n $\"\"$ \n<\/div>\n
Итак, Z-оценка = 1,7541. На графике нормального распределения это соответствует 96%-му персентилю, то есть, вероятность, что Z-оценка случайно окажется выше 1,7541 составляет порядка 4% (иными словами, 96% площади под колоколом нормального распределения не выходят за пределы +1,7541 стандартных отклонений):<\/p>\n
\n $\"\"$ \n<\/div>\n
Откуда мы взяли именно 96%? Точное значение вероятности, p-значение,<\/i> вычисляем по формуле:<\/p>\n
=НОРМ.РАСП(1,7541;0;1;ИСТИНА)<\/code><\/pre>\n\n<\/div>\nP-значение = 96,03%.<\/p>\n Итак, промежуточный вывод: если на выборке в 1000 звонков в каждом из двух случаев мы обнаружили конверсии (активации промокода) в 6% и 8% звонков, то мы на 96% уверены, что эта разница не случайна.<\/b> (Остается 4% вероятности, что обнаруженная разница — случайность. Тогда, возможно, конверсия вообще одинакова и равна, например, 7%. Сделай мы больше звонков, разница вскоре сошла бы на нет).<\/p>\n Эксперимент минимального размера<\/h2>\nОднако, вернемся к первоначальной задаче.<\/p>\n Мы не хотели убедиться, что 8% больше, чем 6%, да и цифра 1000 звонков для робота и операторов была выбрана наугад. Мы хотели рассчитать минимальное количество звонков, чтобы с уровнем уверенности 95% зафиксировать статистическую значимость разницы между 8% и 6%.<\/b><\/p>\n 1000 звонков нам оказалось точно достаточно. Теперь нам остается уменьшать это число до той поры, пока p-значение не пересечет границу 95%. (По формуле нормального распределения, кстати, это будет соответствовать Z-оценке, равной 1,6449 — попробуйте проверить.)<\/p>\n В теории, наверное, можно было бы вывести большую формулу для расчета такого n,<\/i> при котором p-значение будет равно 0,95. На практике, быстрее окажется вручную подобрать минимальное n. Или, еще лучше, воспользоваться в Excel инструментом Данные — Анализ «что, если» — Подбор параметра:<\/b><\/p>\n \n\n<\/div>\n(Убедитесь только, что число звонков робота ровно то же самое, что и число звонков оператора, т. е. вы указали =C6 в ячейке C7).<\/p>\n \n\n<\/div>\nВыводы<\/h2>\nИтак, мы вычислили минимальные условия эксперимента для оценки эффективности голосового робота для KupiVIP.<\/p>\n Нужно не менее 878 звонков в каждой из двух групп, чтобы с уровнем достоверности 95% подтвердить наличие разницы между 6% активаций промокодов в контрольной группе (реальные сотрудники) и 8% в тестовой группе (голосовой робот).<\/b><\/p>\n (Единственное, ни 6%, ни 8% не дают целого числа активаций на выборке из 878 звонков, и, в реальности, конечно, цифры будут другие, причем число звонков в двух группах вообще может быть различным. Но, на самом деле, это не имеет большого значения, т. к., наверняка, в статье были приведены округленные значения конверсий).<\/p>\n См. также:<\/h2>\nhttps:\/\/abtestguide.com\/calc\/?ua=1000&ub=1000&ca=60&cb=80<\/a><\/p>\n", "date_published": "2019-07-20T13:18:48+03:00", "date_modified": "2019-07-20T14:35:26+03:00", "image": "https:\/\/mathandcoffee.ru\/pictures\/CodeCogsEqn03.png", "_date_published_rfc2822": "Sat, 20 Jul 2019 13:18:48 +0300", "_rss_guid_is_permalink": "false", "_rss_guid": "27", "_e2_data": { "is_favourite": false, "links_required": [ "system\/library\/highlight\/highlight.js", "system\/library\/highlight\/highlight.css", "system\/library\/highlight\/highlight.js", "system\/library\/highlight\/highlight.css" ], "og_images": [ "https:\/\/mathandcoffee.ru\/pictures\/CodeCogsEqn03.png", "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_00.PNG", "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_01.PNG", "https:\/\/mathandcoffee.ru\/pictures\/CodeCogsEqn.png", "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_02.PNG", "https:\/\/mathandcoffee.ru\/pictures\/CodeCogsEqn02.png", "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_03.PNG", "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_04.PNG", "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_05.PNG", "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_06.PNG", "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_07.PNG", "https:\/\/mathandcoffee.ru\/pictures\/kupivip_robot_08.PNG" ] } }, { "id": "19", "url": "https:\/\/mathandcoffee.ru\/all\/oshibka-konversii\/", "title": "Когнитивная ошибка конверсии", "content_html": " Любопытная особенность работы с понятием конверсия<\/i> заключается в том, что, строго говоря, конверсия практически никогда не бывает определена точно.<\/b><\/p>\n Вот эти вот «конверсия звонка в продажу 18,4%», «CTR 3,1%», «конверсия в сделки 30%» — это всегда немного упрощенный подход, будто конверсия надежно измерена и, если и изменится, то мы это объясним объективными факторами, не допуская мысли, что изначально никаких «18,4%» и не было, а были только 38 договоров, которые мы сделали на 206 звонках, и это вовсе не значит, что их не могло бы быть больше или меньше.<\/p>\n Примерно, как местоположение электрона вокруг ядра атома не задается точными координатами, а лишь описывается некоторой областью, в которой он, наиболее вероятно, находится, наша конверсия — это тоже не конкретное число, а, в действительности, интервал, в котором она находится.<\/b><\/p>\n Расчет конверсии и когнитивное искажение<\/h2>\nРассмотрим вымышленный отдел продаж, в котором с этого года начали продавать новый продукт. Допустим, ммм, лимузины.<\/b> Продукт не пользуется большим спросом, поэтому, пока что, данных для анализа не так много, или, лучше сказать, совсем мало:<\/p>\n \n\n\n\n\n\n\n\n\nмесяц<\/b><\/td>\n Заявки<\/b><\/td>\n Продажи<\/b><\/td>\n<\/tr>\n август<\/td>\n 48<\/td>\n 1<\/td>\n<\/tr>\n сентябрь<\/td>\n 35<\/td>\n 1<\/td>\n<\/tr>\n октябрь<\/td>\n 24<\/td>\n 0<\/td>\n<\/tr>\n ноябрь<\/td>\n 61<\/td>\n 2<\/td>\n<\/tr>\n декабрь<\/td>\n 32<\/td>\n 0<\/td>\n<\/tr>\n ИТОГО:<\/b><\/td>\n 200<\/b><\/td>\n 4<\/b><\/td>\n<\/tr>\n<\/table>\n<\/div>\nКак видно из данных наших продаж, по итогам нескольких месяцев, мы имеем 4 сделки на 200 лидов (заявок), т. е. наша конверсия равна 4 \/ 200 = 2,0%<\/p>\n (Дополнительно, исходя из цифр пяти месяцев работы, мы можем примерно спрогнозировать 480 лидов на следующий год и, соответствнно, 480 * 0,02 = 9,6 сделок.)<\/p>\n В целом, на таких скудных данных ошибиться невозможно, поэтому, безусловно, такой прогноз не будет ошибочным. Однако, он содержит важное когнитивное искажение: 2,0% это не точное значение, а наиболее пока вероятное<\/i> значение конверсии заявок в продажи наших лимузинов.<\/p>\n В действительности, конверсия не может быть определена точно. Она лежит в доверительном интервале от 0,4% до 3,6%.<\/b> И в будущем году нужно прогнозировать не 9,6 сделок, а от 5 до 15 проданных лимузинов. К сожалению, определить этот диапазон точнее будет довольно самонадеянным.<\/p>\n Колокол конверсии<\/h2>\nИсходя из предположения, что наша истинная<\/i> конверсия стабильна, и точно<\/i> равна 2,0%, мы можем прикинуть возможные варианты числа сделок на 480 лидов, ожидаемых в будущем году. Поскольку мы можем отвечать только за стабильность своей<\/i> работы, но не можем учесть фактор случайности (настроение клиентов, форс мажор, случайная продажа другу гендиректора), всегда существует вероятность, что число сделок будет немного отличаться от прогнозируемых 480 * 0,02 = 9,6 сделок подобно тому, как число решек на 480 бросков монеты может немного отличаться от 240, и быть 235, 248, или, возможно, даже 223.<\/p>\n Графически это выглядит как колокол нормального распределения,<\/i> где, чем дальше мы уходим от математического ожидания в 9 сделок в центре колокола, тем ниже становится вероятность сделать сильно меньше или сильно больше сделок:<\/p>\n \n\n<\/div>\nГлядя на полученный график, приходится признать, что увидеть меньше 2-х и больше 19-ти сделок практически невероятно.<\/p>\n Но, можно ли сузить наш доверительный интервал?<\/i><\/p>\n Доверительный интервал конверсии<\/h2>\nСтандартная ошибка (SD) для биномиального распределения считается по формуле:<\/p>\n \n\n<\/div>\nгде n<\/i><\/b> — это число испытаний, p<\/i><\/b> — вероятность успеха.<\/p>\n Для наших 200 заявок текущего года имеем:<\/p>\n \n\n<\/div>\nSD = 1,98 сделок.<\/b> Иными словами, согласно законам нормального распределения (а биномиальное распределение — это частный случай нормального распределения), примерно в 68% случаев, работая с истинной конверсией 2,0%, мы бы попали в доверительный интервал от 2,02 до 5,98 сделок, то есть +\/-1SD.<\/p>\n Для прогнозируемых 480 заявок будущего года получим:<\/p>\n \n\n<\/div>\nSD = 3,07 сделок.<\/b> По законам биномиального (нормального) распределения, известно, что в 68% случаев продажи будущего года будут лежать в пределах +\/- 1SD от математического ожидания в 9,6 сделок, а в 90% случаев — в пределах +\/- 1,645SD от матожидания. 3,07 сделок * 1,645 = 5,05 сделок, иными словами, в 90% случаев, работай мы весь следующий год с конверсией 2%, мы не выйдем за границы доверительного интервала «от 4,55 до 14,65 сделок». (Примечательно, что, обратно, в 1 случае из 10, мы, все-таки, выйдем за эти границы, по-прежнему, при этом, работая с «истинной» конверсией 2%.)<\/p>\n Любопытно, какой шум поднимет коммерческий директор, если по итогам года мы продадим всего 4 лимузина на 480 заявок, формально показав конверсию 0,83%... и еще более любопытно, что, статистически, это происходит в 1 из 27 отделов продаж. В одном из 27-ми случаев вас увольняют за невыполнение плана продаж, хотя вы по-прежнему работаете с «истинной» конверсией 2%.<\/b><\/p>\n Три конверсии на границе доверительного интервала<\/h2>\nКак же тогда относится к результатам текущего года, где мы получили 4 сделки на 200 заявок?<\/p>\n Первый случай, «2,00%».<\/b> Его мы рассмотрели сразу. 4 \/ 200 = 0,02, т. е. наша конверсия равна 2%. При этом, по законам биномиального распределения, все равно есть вероятность колебаться в 90%-м доверительном интервале «+\/-1,645SD», т. е., в интервале от 0,74 до 7,26 сделок на 200 заявок.<\/p>\n Выглядит это примерно так:<\/p>\n \n\n<\/div>\nНаш результат в 4 сделки совпал с математическим ожиданием от конверсии 2,0%, хотя, в общем, он мог и не совпасть, в целом находясь в 90% доверительном интервале от 1 до 7 сделок.<\/p>\n Второй случай, «1,22%».<\/b> В этом случае, в реальности, наша «истинная» конверсия, на самом деле, ниже, и равна, например, 1,22%.<\/b> Тогда матожидание числа проданных лимузинов примерно равно 2, и нам повезло<\/b> сделать 4 продажи. Степень нашего везения такова, что сделать более<\/i> 4 продаж мы могли бы только в 10% случаев. Т. е., мы остаемся в поле 90%-й вероятности, хотя и находимся на границе этого поля. Еще чуть-чуть, и нам повезет слишком сильно, а пока что нам везет «в пределах разумного»:<\/p>\n \n\n<\/div>\nТретий случай, «3,31%».<\/b> Теперь мы предположим, что в текущем году нам не везло,<\/b> хотя весь год наша истинная конверсия была выше 2,0% и равнялась 3,31%.<\/b> Матожидание для 200 заявок тогда равнялось бы примерно 6 проданным лимузинам, а сделать менее<\/i> 4-х продаж было бы возможно лишь в 10% случаев. Тогда мы тоже остаемся в поле 90%-й вероятности, но находимся на левой границе этого поля с нашими невезучими 4 сделками.<\/p>\n \n\n<\/div>\nТаким образом, приходится признать: мы не знаем наверняка, какая из 3-х конверсий — истинная.<\/b> Нам привычно думать, что речь идет о 1-м случае, и мы делим 4 сделки на 200 заявок, получая конверсию 2,00%. Но никто не знает наверняка, является ли текущий год обычным или необычным, везло ли нам в нем, или не везло. В 90% случаев речь могла идти как о везении,<\/b> и мы работали в действительности с конверсией 1,22%, так и о невезении,<\/b> когда мы работали с конверсией 3,31%. Во всех 3-х случаях вероятность сделать 4 сделки на 200 заявок не выходила за границы 90%.<\/b><\/p>\n К сожалению, у нас пока слишком мало данных, чтобы утверждать что-то можно было более точно.<\/p>\n Нужно больше данных<\/h2>\nЛогично задать вопрос — а сколько нужно накопить данных, чтобы более-менее надежно говорить о конверсии 2,0%? Попробуем постепенно увеличивать размер выборки (число заявок, и, следовательно, продаж), пока не увидим, как 90%-й доверительный интервал сомкнется вокруг значения конверсии в 2,00%:<\/p>\n \n\n\n\n\n\n\n\n\n\n\n\n\n\n Заявки<\/b><\/td>\n Сделки<\/b><\/td>\n Нижняя граница 90% доверительного интервала (-1,645SD)<\/b><\/td>\n Верхняя граница 90% доверительного интервала (+1,645SD)<\/b><\/td>\n Нижняя граница конверсии<\/b><\/td>\n Верхняя граница конверсии<\/b><\/td>\n<\/tr>\n 200<\/td>\n 4<\/td>\n 0,7<\/td>\n 7,3<\/td>\n 0,37%<\/td>\n 3,63%<\/td>\n<\/tr>\n 500<\/td>\n 10<\/td>\n 4,9<\/td>\n 15,1<\/td>\n 0,97%<\/td>\n 3,03%<\/td>\n<\/tr>\n 1 000<\/td>\n 20<\/td>\n 12,7<\/td>\n 27,3<\/td>\n 1,27%<\/td>\n 2,73%<\/td>\n<\/tr>\n 5 000<\/td>\n 100<\/td>\n 83,7<\/td>\n 116,3<\/td>\n 1,67%<\/td>\n 2,33%<\/td>\n<\/tr>\n 10 000<\/td>\n 200<\/td>\n 177,0<\/td>\n 223,0<\/td>\n 1,77%<\/td>\n 2,23%<\/td>\n<\/tr>\n 50 000<\/td>\n 1 000<\/td>\n 948,5<\/td>\n 1 051,5<\/td>\n 1,90%<\/td>\n 2,10%<\/td>\n<\/tr>\n 100 000<\/td>\n 2 000<\/td>\n 1 927,2<\/td>\n 2 072,8<\/td>\n 1,93%<\/td>\n 2,07%<\/td>\n<\/tr>\n 500 000<\/td>\n 10 000<\/td>\n 9 837,2<\/td>\n 10 162,8<\/td>\n 1,97%<\/td>\n 2,03%<\/td>\n<\/tr>\n 1 000 000<\/td>\n 20 000<\/td>\n 19 769,7<\/td>\n 20 230,3<\/td>\n 1,98%<\/td>\n 2,02%<\/td>\n<\/tr>\n 10 000 000<\/td>\n 200 000<\/td>\n 199 271,7<\/td>\n 200 728,3<\/td>\n 1,99%<\/td>\n 2,01%<\/td>\n<\/tr>\n 25 000 000<\/td>\n 500 000<\/td>\n 498 848,5<\/td>\n 501 151,5<\/td>\n 2,00%<\/td>\n 2,00%<\/td>\n<\/tr>\n<\/table>\n<\/div>\nНадо ли говорить, что получить более нескольких десятков тысяч заявок-лидов может мало какой из отделов продаж. Поэтому, приходится признать, что ставить планы продаж и принимать кадровые решения относительно сотрудников, работающих с уровнями конверсии 1-5% — это безумие, и на таких маленьких числах математика в продажах не работает.<\/b><\/p>\n См. также:<\/h2>\nhttp:\/\/italylov.ru\/blog\/all\/ctatisticheskaya-dostovernost-koltrekinga\/<\/a><\/p>\n", "date_published": "2019-05-07T12:39:07+03:00", "date_modified": "2019-05-07T13:46:21+03:00", "image": "https:\/\/mathandcoffee.ru\/pictures\/oshibka01.png", "_date_published_rfc2822": "Tue, 07 May 2019 12:39:07 +0300", "_rss_guid_is_permalink": "false", "_rss_guid": "19", "_e2_data": { "is_favourite": true, "links_required": [], "og_images": [ "https:\/\/mathandcoffee.ru\/pictures\/oshibka01.png", "https:\/\/mathandcoffee.ru\/pictures\/CodeCogsEqn-1.png", "https:\/\/mathandcoffee.ru\/pictures\/oshibka02.png", "https:\/\/mathandcoffee.ru\/pictures\/oshibka03.png", "https:\/\/mathandcoffee.ru\/pictures\/oshibka04.png", "https:\/\/mathandcoffee.ru\/pictures\/oshibka05.png", "https:\/\/mathandcoffee.ru\/pictures\/oshibka06.png" ] } } ], "_e2_version": 3565, "_e2_ua_string": "E2 (v3565; Aegea)" }