Выброс в данных: почему его нельзя просто удалить
Выброс может быть ошибкой, другой группой или редким событием.
Дальше вы узнаете, как простое правило находит подозрительное число, почему среднее время доставки из-за него выросло на шесть с лишним минут и какие пять проверок защищают данные от удобной, но нечестной уборки.
В статье вы узнаете:
Девять доставок и одно неудобное число
Возьмём учебный набор времени доставки в минутах:
28, 30, 30, 30, 31, 32, 32, 32, 90
Сумма равна 335 минутам, поэтому среднее время составляет 335 / 9 = 37,2 минуты. Медиана, то есть значение посередине упорядоченного ряда, равна 31 минуте. Восемь заказов собрались около получаса, но один долгий заказ заметно поднял среднее.
Если убрать 90 минут, среднее станет 245 / 8 = 30,6 минуты. Разница большая: один клик в таблице меняет итог с 37,2 до 30,6. Именно поэтому решение нельзя принимать по принципу «число некрасивое, удаляем».
Один из способов найти подозрительные значения использует квартили. Они делят упорядоченный ряд на четыре части. Первый квартиль Q1 стоит после нижней четверти данных, третий квартиль Q3 перед верхней. Между Q1 и Q3 лежит центральная половина наблюдений. В нашем наборе Q1 = 30, Q3 = 32, а межквартильный размах равен 32 − 30 = 2 минутам.
Верхняя граница по распространённому правилу равна:
Q3 + 1,5 × межквартильный размах = 32 + 1,5 × 2 = 35 минут
Все значения выше 35 минут получают метку потенциального выброса. Девяносто минут далеко за границей. Это можно проверить в калькуляторе квартилей и межквартильного размаха.
NIST различает внутреннюю и внешнюю границы диаграммы с коробкой и усами. Точки за внутренней границей считают умеренными выбросами, а за внешней, равной Q3 + 3 × межквартильный размах, экстремальными. В нашем примере внешняя верхняя граница равна 32 + 3 × 2 = 38 минутам, и 90 находится даже за ней. Но любая такая граница работает как сигнализация, а не как судья: причину всё равно нужно исследовать до удаления [NIST, What are outliers in the data?].
Метка не объясняет, что произошло
Число 90 может появиться как минимум по трём разным причинам. В таблице они выглядят одинаково, а решения требуют разных.
Ошибка записи. Курьер доставил заказ за 30 минут, но закрыл его в приложении через час. Если журнал событий подтверждает время передачи заказа, запись следует исправить на 30 минут. Удаление потеряет реальный заказ, а сохранение 90 исказит длительность.
Другая группа. Восемь заказов ехали в соседние кварталы, а девятый отправили за город. Девяносто минут могут быть точным значением, которое отвечает на другой вопрос. Полезнее разделить городские и загородные доставки, чем смешивать их или выбрасывать неудобный маршрут.
Редкое настоящее событие. Дорогу перекрыли после аварии, и обычный маршрут занял в три раза больше времени. Запись верна и относится к той же службе доставки. Если компания обещает срок всем клиентам, такой случай важен: он показывает риск, который средний день скрывает.
Есть и четвёртый вариант: причины пока никто не знает. Неизвестность не превращает значение в ошибку. NIST прямо разделяет пометку потенциального выброса и решение о его судьбе. Необычная точка может оказаться неверной записью, случайной вариацией или интересным изменением самого процесса.
Решение зависит от вопроса к данным
Одно и то же наблюдение можно обоснованно использовать по-разному. Всё решает вопрос, на который должен ответить расчёт.
Если нужно описать опыт всех девяти клиентов, 90 минут остаются в наборе. Иначе отчёт будет говорить только об удачных доставках.
Если нужно оценить обычный маршрут внутри одного района, загородный заказ стоит вынести в отдельную группу. Это не удаление плохого результата, а уточнение предмета сравнения.
Если аналитик оценивает работу системы без документированного перекрытия дороги, он может посчитать дополнительный сценарий без этого случая. Но рядом должен остаться результат по полным данным и объяснение, что именно исключили. Тогда читатель видит влияние решения, а не получает аккуратное число неизвестного происхождения.
Опасный порядок выглядит наоборот: сначала выбирают приятный результат, затем придумывают правило, которое убирает помеху. Так можно «улучшить» почти любую статистику. Критерий включения лучше сформулировать до расчёта или хотя бы честно записать после обнаружения проблемы.
Руководство Агентства по охране окружающей среды США советует использовать статистические тесты только для поиска точек, требующих расследования. Если значение исключают, ведомство рекомендует обосновать решение и сравнить анализ полного и сокращённого наборов. Сам тест не решает, была ли запись ошибочной [US EPA, Data Quality Assessment: A Reviewer's Guide, 2006].
Пять проверок перед удалением
- Сохраните исходную запись. Сделайте копию набора или добавьте отдельную пометку. После удаления без следа уже нельзя проверить, что произошло и как изменился результат.
- Проверьте источник. Сверьте время начала и окончания, единицы измерения, часовой пояс, номер заказа и журнал действий. Значение 900 секунд, случайно записанное как 900 минут, нужно исправить, а не считать редким событием.
- Найдите контекст. Посмотрите маршрут, тип заказа, погоду, поломки и изменения в процессе. Необычное число часто сообщает о группе или условии, которого нет в основной таблице.
- Сформулируйте вопрос. «Сколько обычно едет городской заказ?» и «Сколько может ждать любой клиент?» требуют разных наборов данных.
- Посчитайте оба варианта. Сравните итог со значением и без него. Если вывод меняется, решение об исключении особенно важно показать читателю.
Эти шаги не требуют сложной статистики. Большую часть ошибок находят по журналу, исходному документу и здравому вопросу к данным. Формула лишь подсказывает, какую строку открыть первой.
Среднее и медиана отвечают на разные вопросы
В примере среднее равно 37,2 минуты, а медиана 31 минуте. Оба числа посчитаны правильно. Среднее использует каждую минуту из общей суммы и потому сильно реагирует на долгий заказ. Медиана показывает середину заказов и слабее реагирует на одно далёкое значение.
Поэтому вместо выбора одного «правильного» показателя полезно назвать задачу. Для ответа «сколько заняла типичная доставка» подойдёт медиана. Сумма покажет общее время всех заказов, а среднее поможет сравнить периоды с разным числом доставок, если одинаковы типы маршрутов, правила отбора заказов и способ измерения длительности. Сравнить среднее, медиану, моду и размах можно в калькуляторе описательной статистики.
Разброс тоже лучше описывать показателем, который не рассыпается из-за одной точки. Межквартильный размах охватывает центральную половину ряда. Для медианного абсолютного отклонения, или MAD, сначала измеряют расстояние каждого значения от медианы, а затем находят медиану этих расстояний. Калькулятор MAD помогает проверить такой вариант на своём наборе.
Медиана и MAD не делают 90 минут невидимыми. Они позволяют честно описать обычную часть данных, сохранив редкое событие рядом. Это лучше, чем стирать строку только ради спокойного среднего.
Что записать в итоговом отчёте
Для учебного примера достаточно короткого пояснения: «В девяти доставках медиана составила 31 минуту, среднее 37,2 минуты. Один заказ занял 90 минут и был отмечен правилом 1,5 межквартильного размаха. Причиной оказалось перекрытие дороги. Значение сохранено, потому что заказ состоялся и входит в обещанный клиентам сервис».
Если причину не нашли, так и напишите: «Источник отклонения не установлен». Затем покажите расчёт на полном наборе и дополнительный вариант без подозрительной точки. Читатель сможет увидеть, насколько от неё зависит вывод.
Хороший вопрос к выбросу звучит не «как его убрать?», а «откуда он взялся и относится ли к нашей задаче?». Ответ приводит к одному из трёх действий: исправить доказанную ошибку, отделить другую группу или сохранить настоящее событие. Само число этого решения не принимает.
Есть что добавить?
Напишите своё мнение, комментарий или предложение.