{ "version": "https:\/\/jsonfeed.org\/version\/1", "title": "Математика и кофе: заметки с тегом формулы", "_rss_description": "Отделы продаж, коллцентры, аналитика, цифры и данные, воронки продаж, матстатистика..", "_rss_language": "ru", "_itunes_email": "", "_itunes_categories_xml": "", "_itunes_image": "", "_itunes_explicit": "", "home_page_url": "https:\/\/mathandcoffee.ru\/tags\/formuly\/", "feed_url": "https:\/\/mathandcoffee.ru\/tags\/formuly\/json\/", "icon": "https:\/\/mathandcoffee.ru\/user\/userpic@2x.jpg?1559386410", "author": { "name": "Иван Балдин", "url": "https:\/\/mathandcoffee.ru\/", "avatar": "https:\/\/mathandcoffee.ru\/user\/userpic@2x.jpg?1559386410" }, "items": [ { "id": "40", "url": "https:\/\/mathandcoffee.ru\/all\/doveritelny-interval-binomialnogo-raspredeleniya-po-metodu-uilso\/", "title": "Доверительный интервал биномиального распределения по методу Уилсона", "content_html": "

В процессе изучения биномиального распределения, обратил внимание, что стандартный способ определения доверительного интервала через ±1,645SD<\/i> не всегда точен. Грубо говоря, если «решка» выпала меньше, чем в 10 бросках, то, скорее всего, либо вы сделали мало бросков, либо у вас вероятность выпадения «решки» в «заколдованной монетке» сильно невелика; если np<\/i> < 10, лучше воспользоваться более сложными формулами, дающими более точные оценки при маленьких p<\/i> или n:<\/i><\/p>\n

По мнению многих статистиков, наиболее оптимальную оценку доверительных интервалов для частот осуществляет метод Уилсона (Wilson),<\/b> предложенный еще в 1927 году <...>. Данный метод не только позволяет оценить доверительные интервалы для очень малых и очень больших частот, но и применим для малого числа наблюдений.<\/i><\/p>\n

Звучит заманчиво. Попробуем разобраться.<\/p>\n

Метод Уилсона<\/h2>\n

Нижняя и верхняя граница доверительного интервала p = 1—α\/2<\/i> вычисляются следующими формулами:<\/p>\n

\n
\n\"\"\n\"\"\n<\/div>\n
Формула расчета нижней и верхней границ, соответственно.<\/div>\n<\/div>\n

где p<\/b><\/i> — наблюдаемая вероятность «выпадения решки», N<\/b><\/i> — число измерений («бросков»), z<\/b><\/i> — z-<\/i>оценка (например, 1,960 для 95%-го доверительного интервала, или 1,645 для 90%-го).<\/p>\n

Пример и калькулятор для расчета<\/h2>\n

Предположим, нам удалось прослушать 10 рандомных звонков колл-центра, и в 4 из них оператор забыл или поленился уточнить у клиента источник рекламы. Скорее всего, исходя из данной информации, операторы не уточняют источники рекламы в 40% звонков.<\/p>\n

Однако, это очень смелое утверждение, ведь наша выборка (10 звонков) откровенно мала: для получения более точной оценки качества работы коллцентра, хорошо бы прослушать больше рандомных звонков (прослушать все звонки, очевидно, невозможно).<\/p>\n

Но даже для выборки из 10 звонков, можно рассчитать SD биномиального распределения:<\/p>\n

\n\"\"\n<\/div>\n

Имеем, SD = 15,49%. С вероятностью 90%, точная оценка качества работы коллцентра (доля звонков, где не выявлен источник рекламы) лежит в диапазоне 40%±1,645SD, или от 14,52% до 65,48%.<\/p>\n

Применяя же формулу Уилсона (что уместно, так как np<\/i> = 4 < 10), границы доверительного интервала уточняются: с вероятностью 90%, истинная доля звонков, где не выявляется источник рекламы, лежит в границах от 19,42% до 64,84%. SD, получается, равно 13,80%.<\/p>\n

Калькулятор<\/b><\/a> в Google Таблицах (меню «Файл» — «Создать копию»).<\/p>\n

См. также:<\/h2>\n

«Доверительные интервалы для частот и долей<\/a>», А.М. Гржибовский, 2008 (стр. 58-59)
\nОнлайн-калькулятор<\/a> для 95%-го доверительного интервала
\nКалькулятор<\/a> на WolframAlpha.com
\nBinomial confidence intervals and contingency tests<\/a> (стр.4-5)
\nhttps:\/\/influentialpoints.com\/Training\/confidence_intervals_of_proportions.htm#wils<\/a>
\nWilson score interval<\/a> на Википедии<\/p>\n", "date_published": "2020-04-01T16:54:50+03:00", "date_modified": "2020-04-01T16:55:04+03:00", "image": "https:\/\/mathandcoffee.ru\/pictures\/wilson01.PNG", "_date_published_rfc2822": "Wed, 01 Apr 2020 16:54:50 +0300", "_rss_guid_is_permalink": "false", "_rss_guid": "40", "_e2_data": { "is_favourite": false, "links_required": [ "system\/library\/jquery\/jquery.js", "system\/library\/fotorama\/fotorama.css", "system\/library\/fotorama\/fotorama.js" ], "og_images": [ "https:\/\/mathandcoffee.ru\/pictures\/wilson01.PNG", "https:\/\/mathandcoffee.ru\/pictures\/wilson02.PNG", "https:\/\/mathandcoffee.ru\/pictures\/CodeCogsEqn.png" ] } }, { "id": "16", "url": "https:\/\/mathandcoffee.ru\/all\/prodvinuty-sposob-rascheta-reytingov\/", "title": "Продвинутый способ расчета рейтингов", "content_html": "

Крайне любопытная статья на сайте EvanMiller.org, «Ranking Items With Star Ratings<\/u>»<\/a>, предлагает продвинутый способ расчета рейтингов,<\/b> например, по пятибалльной шкале.<\/p>\n

(Вообще, судя по интонации автора, история с рейтингами и методиками их расчета не так проста, как может показаться, и он неоднократно к ней возвращается<\/a>.)<\/p>\n

Из того, что удалось понять: во-первых, расчет среднего рейтинга<\/b> не всегда позволяет однозначно определить место объекта относительно остальных объектов — например, средние рейтинги могут, банально, совпадать. Во-вторых, средний рейтинг не учитывает количество голосов, ведь по идее, чем больше голосов участвует в расчете рейтинга, тем надежнее этот рейтинг.<\/p>\n

Простой пример — оценки двух сотрудников:<\/p>\n

Осипов — 5, 5, 5, 5, 5, 2, 2, 2, 2, 2. Среднее = 3,50.<\/b>
\nСухонцев — 4, 4, 3, 3. Среднее = 3,50.<\/b><\/p>\n

Неразрешимая, на первый взгляд, ситуация решается методами байесовской статистики<\/a> (что бы конкретно это здесь ни значило), вуаля:<\/p>\n

Осипов — 2,72.<\/b>
\nСухонцев — 2,63.<\/b><\/p>\n

Чудесным образом то ли меньшее среднеквадратичное отклонение (0,58 против 1,58), то ли меньшее количество оценок (4 против 10), то ли все они вместе уточнили<\/b> средний рейтинг Сухонцева, отдав ему предпочтение в несколько сотых.<\/p>\n

Формула продвинутого расчета среднего рейтинга<\/h2>\n

Приготовьтесь, будет немного больно.<\/p>\n

Итак, предполагается<\/a>, что у нас есть K<\/b><\/i> возможных оценок, считаемых по k,<\/b><\/i> каждая оценка стоит sk<\/sub><\/b><\/i> баллов («1» — это 1 балл, «2» — это 2 балла и т. д.). Имея N<\/b><\/i> полученных оценок для каждого объекта, по nk<\/sub><\/b><\/i> оценок для каждого k,<\/b><\/i> можно посчитать рейтинг каждого объекта по формуле:<\/p>\n

\n\"\"\n<\/div>\n

Где zα\/2<\/sub><\/b><\/i> это 1−α\/2<\/b><\/i> квантиль нормального распределения. Посчитанный рейтинг является нижней границей нормальной аппроксимации байесова доверительного интервала для среднего рейтинга. Принимая, например, α=0,10 (z=1,65), рассчитанный рейтинг S<\/b><\/i> будет означать, что в 95% случаев средний рейтинг объекта будет выше S<\/b><\/i>.<\/p>\n

Упрощая, «продвинутый» расчет среднего рейтинга позволяет дать прогноз возможной средней оценки, рассчитываемой традиционным путем. Ну и, следовательно, как показано выше, ранжировать объекты даже при формально одинаковой средней оценке.<\/p>\n

Пример расчета продвинутого среднего рейтинга<\/h2>\n

Вооружившись 2000 оценок по пятибалльной шкале условных территориальных офисов продаж, я посчитал средний рейтинг каждого офиса обычным и «продвинутым» способом.<\/p>\n

\n
\n\"\"\n\"\"\n<\/div>\n
Среднее 1.0 — средний рейтинг обычный, Среднее 2.0 — средний рейтинг продвинутый.<\/div>\n<\/div>\n

«Таганский» упал со 2-го на 4-е место по всей видимости, из-за того, что выборка в 66 оценок не дает достаточной уверенности в том, что его средний рейтинг действительно настолько высок, и в 90% случаев его рейтинг прогнозируется выше всего лишь 4,55, что примерно соответствует 4-му месту.<\/p>\n

«Академический» формально был на 13-м месте, но, благодаря надежным 249 оценкам, для него прогнозируется, в 90% случаев, средний рейтинг не ниже 4,4, что поднимает его до 10-го места.<\/p>\n

У меня сложилось ощущение, что формула более убедительно работает для коротких шкал оценок, как «от 1 до 5» в приведенном примере.<\/p>\n

В любом случае, делюсь файлом в Google Таблицах<\/a> — по идее, он считает рейтинги для всех шкал «длиной» до 100 оценок включительно, позволяет импортировать до 10 000 строк с оценками и корректировать уровень достоверности (90% в нашем примере).<\/p>\n

Cм. также<\/h2>\n

https:\/\/www.evanmiller.org\/ranking-items-with-star-ratings.html<\/a><\/p>\n

Продвинутый способ расчета рейтинга<\/a> в Google Таблицах<\/p>\n", "date_published": "2019-09-21T15:59:00+03:00", "date_modified": "2019-09-21T16:01:59+03:00", "image": "https:\/\/mathandcoffee.ru\/pictures\/ratings00.PNG", "_date_published_rfc2822": "Sat, 21 Sep 2019 15:59:00 +0300", "_rss_guid_is_permalink": "false", "_rss_guid": "16", "_e2_data": { "is_favourite": false, "links_required": [ "system\/library\/jquery\/jquery.js", "system\/library\/fotorama\/fotorama.css", "system\/library\/fotorama\/fotorama.js" ], "og_images": [ "https:\/\/mathandcoffee.ru\/pictures\/ratings00.PNG", "https:\/\/mathandcoffee.ru\/pictures\/ratings01.PNG", "https:\/\/mathandcoffee.ru\/pictures\/ratings02.PNG" ] } }, { "id": "12", "url": "https:\/\/mathandcoffee.ru\/all\/kachestvo-zvonkov-skolko-proslushat\/", "title": "Качество звонков: сколько нужно прослушать", "content_html": "

Распространенным инструментом оценки качества работы менеджеров отдела продаж является аудит качества телефонных звонков,<\/b> «прослушка».<\/p>\n

Предположим, вы задались целью не просто замерить<\/b> качество телефонных звонков, но зафиксировать рост<\/i> этого качества.<\/b> Например, провели обучение (тренинг) менеджеров, либо предложили новую мотивацию за соблюдение стандартов качества, либо что-то еще.<\/p>\n

Логично предположить, что рост качества в первом попавшемся, после тренинга, звонке, не будет однозначно свидетельствовать о росте качества в остальных звонках. Скорее всего, и второй удачный звонок тоже однозначно не подтвердит гипотезу, что качество выросло.<\/p>\n

Таким образом, речь будет идти о том, что вам придется прослушать если не все, то, по крайней мере, достаточное число звонков после введенных вами изменений, и число звонков, которые необходимо будет прослушать, на самом деле, можно однозначно рассчитать.<\/b><\/p>\n

Считаем размер выборки<\/h2>\n

На 15-й странице работы «Планирование размеров выборки для исследований в бихевиоризме<\/a>» мне попался подходящий пример 2.4 и формула для расчета таких выборок:<\/p>\n

\n\"\"\n<\/div>\n

В данном примере рассматривается изменение оценки ACT<\/a>-теста по математике с 24,5 (дисперсия 8,2) до 26,0 баллов при α = 0,05 и мощности = 0,90.<\/p>\n

Для удобства работы, я собрал приведенную формулу в Гугл-таблицах:
\nКалькулятор размера выборки<\/a><\/p>\n

\n\"\"\n<\/div>\n

Вам остается скопировать файл, и можете подставлять нужные вам значения. Достоверность разумно выбирать от 80% до 95%, значение мощности — от 60% до 80%. Указываете средний балл оценки звонков до изменений, стандартное отклонение (SD) оценки звонков «до», и ожидаемый средний балл оценки звонков после изменений.<\/p>\n

Верификация полученных результатов<\/h2>\n

Важно понимать, что, даже прослушав требуемое количество звонков «после», все равно необходимо проверять наличие статистически значимых различий через калькулятор А\/Б-тестов<\/a>.<\/p>\n

См. также:<\/h2>\n

https:\/\/habr.com\/ru\/post\/339798\/<\/a>
\nhttps:\/\/people.ucsc.edu\/~dgbonett\/docs\/wrkshp\/LectureNotes.pdf<\/a><\/p>\n", "date_published": "2019-05-26T16:46:00+03:00", "date_modified": "2026-04-18T14:39:56+03:00", "image": "https:\/\/mathandcoffee.ru\/pictures\/samplesize00.PNG", "_date_published_rfc2822": "Sun, 26 May 2019 16:46:00 +0300", "_rss_guid_is_permalink": "false", "_rss_guid": "12", "_e2_data": { "is_favourite": false, "links_required": [], "og_images": [ "https:\/\/mathandcoffee.ru\/pictures\/samplesize00.PNG", "https:\/\/mathandcoffee.ru\/pictures\/samplesize01.PNG" ] } }, { "id": "2", "url": "https:\/\/mathandcoffee.ru\/all\/skolzyaschee-srednee-ili-kak-sgladit-grafik\/", "title": "Скользящее среднее, или как сгладить график", "content_html": "

Честно говоря, не знаю, как правильно называется эта штука, но пусть у нее будет рабочее название «скользящее среднее».<\/b><\/p>\n

Очень часто бывает так, что у нас есть данные с разбивкой по дням.<\/b> Например, заходы на сайт или звонки в отдел продаж. И, в попытке проанализировать динамику<\/b> происходящего, мы строим график, получая примерно следующее:<\/p>\n

\n\"\"\n<\/div>\n

Что здесь не так?<\/p>\n

Достаточно очевидно, что, во-первых, график постоянно прыгает вверх-вниз, а, во-вторых, имеет некрасивые экстремумы<\/i> вроде 16 заявок в октябре или 122 заявок в августе. День на день не приходится, и данные слишком сильно колеблются вокруг среднего значения (кстати, среднее тут равно 63).<\/p>\n

А там, где что-то так некрасиво прыгает, часто можно что-то сгладить, используя понятие скользящего среднего<\/i><\/b><\/a>.<\/p>\n

Скользящее среднее. Простой способ.<\/h2>\n

Попробуем «сгладить» наш прыгающий график путем расчета среднего числа заявок на дату,<\/i><\/b> исходя из предыдущих 6 дней (7-й — текущий день, итого ровно неделя).<\/p>\n

Напротив 07.01.2018 напишем формулу<\/p>\n

=СРЗНАЧ(B2:B8)<\/code><\/pre>
\n\"\"\n<\/div>\n
Протянув формулу по всему году до самой последней строки, получим среднее число заявок на каждую дату за предыдущую неделю<\/i>. Как будто рамку, шириной в одну неделю, мы двигали по году вдоль с шагом в один день.<\/p>\n
\n\"\"\n<\/div>\n
Визуально ничего не изменилось. Разве что, раньше были целые значения, а теперь, из-за усреднения, вылезли знаки после запятой — 79,9, 84,1. Обновим наш график:<\/p>\n
\n\"\"\n<\/div>\n
На месте прежнего, «прыгающего», графика, теперь более гладкая линия. Исчезли аномальные дни с 16 и 122 звонками в октябре и в августе, зато теперь, на «недельном» масштабе, стал заметнее провал на майские праздники.<\/p>\n
Скользящее среднее. Сложный способ.<\/h2>\n
Некоторое время попрактиковавшись с вычислением скользящего среднего, вы обратите внимание, что, чем шире вы будете брать «окно» для расчета среднего на дату, тем сильнее будет сглаживаться ваш график. Теоретически, вы можете взять окно шириной в 365 дней... и получится практически ровная линия. А при окне шириной в 1 день — график не сглаживается вообще.<\/p>\n
В этот момент становится понятно, что «7 дней» из первого примера — это просто случайное число, а на самом деле, оно может быть абсолютно любым — все зависит лишь от ваших предпочтений и представлений о том, что вы хотите увидеть и проанализировать.<\/p>\n
Попробуем не задавать жестко ширину нашего «окна», а сделать его параметром<\/i> нашего графика. Пусть «окно» в 7 дней, используемое для сглаживания графика, будет зависеть от цифры «7», помещенной в ячейку C1. И пусть, если мы меняем «7» на «5» или «30», Эксель перестраивает наш график.<\/p>\n
Итак, настало время для красивой формулы в ячейке C8:<\/p>\n
=СРЗНАЧЕСЛИМН(B$2:B$365;A$2:A$365;"<="&A8;A$2:A$365;">="&(A8-$C$1+1))<\/code><\/pre>
Функция<\/p>\n
=СРЗНАЧЕСЛИМН()<\/code><\/pre>
берет и считает среднее значение для тех дат, для которых будут выполняться оба условия:<\/p>\n
    \n
  1. Дата, которая участвует в расчете среднего, должна быть больше или равна дате, отстоящей от даты, для которой мы рассчитываем среднее, назад на N-1 дней (где N — ширина нашего «окна»).<\/li>\n
  2. Дата, которая участвует в расчете среднего, должна быть меньше или равна дате, для которой мы это среднее рассчитываем.<\/li>\n<\/ol>\n
    Проще говоря, для расчета среднего числа заявок на 18 апреля при N=7 дней, мы возьмем среднее от числа заявок с 12 по 18 апреля (больше или равно 12 апреля и меньше или равно 18 апреля). Для расчета среднего числа заявок на 19 апреля — среднее от числа заявок с 13 по 19 апреля, и так далее.<\/p>\n
    Выделим ячейку C1 под наш параметр N, тогда формула для 07.01.2018 выглядит так:<\/p>\n
    =СРЗНАЧЕСЛИМН(B$2:B$365;A$2:A$365;"<="&A8;A$2:A$365;">="&(A8-$C$1+1))<\/code><\/pre>
    Итого, теперь мы имеем уже знакомый нам «сглаженный» 7-дневный график, но ширину «окна» задали не строго, а привязали ее к параметру, записанному в ячейке C1:<\/p>\n
    \n\"\"\n<\/div>\n
    Меняя значение параметра в ячейке C1, получаем все более и более ровную линию. Вот, для сравнения, наложенные друг на друга графики при N=1, N=5, N=30:<\/p>\n
    \n\"\"\n<\/div>\n",
            "date_published": "2019-05-26T11:23:27+03:00",
            "date_modified": "2019-05-26T11:23:15+03:00",
            "image": "https:\/\/mathandcoffee.ru\/pictures\/mvng_avrg_03.png",
            "_date_published_rfc2822": "Sun, 26 May 2019 11:23:27 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "2",
            "_e2_data": {
                "is_favourite": false,
                "links_required": [
                    "system\/library\/highlight\/highlight.js",
                    "system\/library\/highlight\/highlight.css",
                    "system\/library\/highlight\/highlight.js",
                    "system\/library\/highlight\/highlight.css",
                    "system\/library\/highlight\/highlight.js",
                    "system\/library\/highlight\/highlight.css",
                    "system\/library\/highlight\/highlight.js",
                    "system\/library\/highlight\/highlight.css",
                    "system\/library\/highlight\/highlight.js",
                    "system\/library\/highlight\/highlight.css",
                    "system\/library\/highlight\/highlight.js",
                    "system\/library\/highlight\/highlight.css",
                    "system\/library\/highlight\/highlight.js",
                    "system\/library\/highlight\/highlight.css",
                    "system\/library\/highlight\/highlight.js",
                    "system\/library\/highlight\/highlight.css"
                ],
                "og_images": [
                    "https:\/\/mathandcoffee.ru\/pictures\/mvng_avrg_03.png",
                    "https:\/\/mathandcoffee.ru\/pictures\/mvng_avrg_05.png",
                    "https:\/\/mathandcoffee.ru\/pictures\/mvng_avrg_06.png",
                    "https:\/\/mathandcoffee.ru\/pictures\/mvng_avrg_07.png",
                    "https:\/\/mathandcoffee.ru\/pictures\/mvng_avrg_08.png",
                    "https:\/\/mathandcoffee.ru\/pictures\/mvng_avrg_09.png"
                ]
            }
        }
    ],
    "_e2_version": 3565,
    "_e2_ua_string": "E2 (v3565; Aegea)"
}