Почему случайная выборка не всегда представляет всю группу
Случайный отбор даёт каждому известный шанс попасть в опрос, но не гарантирует, что маленькая выборка точно повторит состав всей группы.
На примере десяти человек легко увидеть четыре разные причины плохого результата: нечестный отбор, неполный список, неответ и обычный случайный перекос. В конце останется короткая проверка, которую можно провести до публикации любого процента.
В статье вы узнаете:
Честный выбор четырёх человек может дать 75% вместо 50%
Представим группу из десяти человек. Пять поддерживают предложение, пять выступают против. Истинный результат всей группы известен: 5 из 10, то есть 50%, отвечают «за».
Запишем десять имён на одинаковых карточках, хорошо перемешаем и вытянем четыре без возврата. То же самое можно повторить через случайный выбор из списка: добавить десять имён, запросить четыре результата и запретить повторы.
В выбранной четвёрке оказались трое сторонников и один противник. Если смотреть только на неё, получится 3 из 4, то есть 75% «за». Однако во всей группе сторонников по-прежнему ровно половина.
Жеребьёвка не была подстроена. Каждое имя имело одинаковый шанс, никто не отказался отвечать, список содержал всех десятерых. Перекос возник потому, что выборка маленькая. В ней один человек меняет результат сразу на 25 процентных пунктов.
Такой исход даже нельзя назвать невероятной случайностью. Из 210 возможных четвёрок 50 содержат ровно троих из пяти сторонников. Значит, результат 75% «за» появляется примерно в 24% честных отборов. Почти в каждой четвёртой попытке выборка заметно отличается от известного ответа всей группы.
Теперь различие можно сформулировать без статистического тумана. Случайность относится к способу выбора, а репрезентативность к получившейся группе и конкретному вопросу. Одна и та же четвёрка может хорошо совпасть со всей десяткой по возрасту и плохо совпасть по мнению о предложении.
NIST формулирует границу так же: случайный отбор не гарантирует, что каждая отдельная выборка окажется репрезентативной, зато не создаёт направленный перекос самой процедурой в среднем по многим повторам [NIST/SEMATECH Engineering Statistics Handbook].
За одним плохим процентом скрываются четыре разные проблемы
Результат 75% вместо 50% можно получить несколькими путями. Внешне число будет одинаковым, но исправлять его придётся по-разному.
Нечестный или неизвестный отбор. Организатор спрашивает первых четырёх людей у двери, коллег из ближайшего кабинета или тех, кто быстрее открыл сообщение. У участников всей группы нет заранее заданных и известных шансов попасть в опрос. В простом отборе эти шансы равны; в более сложном они могут различаться, но методика должна их учитывать. Такой набор иногда называют случайным в бытовом смысле, но статистической жеребьёвки здесь не было.
Ошибка основы выборки. Основа выборки, или sampling frame, это список, из которого вообще выбирают участников. Если вопрос касается всей школы, а имена взяли только из чата математического кружка, генератор может безупречно перемешать список. Он честно представит кружок, но не школу. Люди, которых нет в списке, имеют не маленький, а нулевой шанс попасть в результат.
Неответ. Допустим, четыре имени выбраны правильно, но двое не открыли анкету. Итог теперь описывает двух ответивших, а не исходную четвёрку. Сам отказ ещё не доказывает перекос. Опасность возникает, если неответившие систематически отличаются по измеряемому признаку: например, недовольные сервисом реже читают его рассылку или, наоборот, охотнее заполняют форму с жалобой.
Случайный перекос. Список полный, шансы равны, все выбранные ответили, но среди четырёх случайно оказалось трое сторонников. Здесь процедура исправна. Нужно честно показать неопределённость, собрать больше наблюдений или, если группа мала, спросить её целиком.
Официальная памятка Statistics Canada разделяет ошибку случайного отбора и внеслучайные проблемы: неполное покрытие целевой группы, формулировку вопросов, неответ и обработку данных. Она отдельно предупреждает, что обычная «погрешность опроса» описывает только случайную часть и не измеряет все остальные источники смещения [Statistics Canada, Questions to ask about surveys].
Это разделение полезнее общего вывода «опрос плохой». Для каждого сбоя нужен свой вопрос: всех ли внесли в список, как выбирали, кто не ответил и насколько могла разойтись одна случайная выборка.
Большая выборка уменьшает случайный разброс, но не чинит список
Если выбирать больше людей по той же корректной процедуре, случайные доли обычно становятся устойчивее. В нашей группе опрос четырёх легко даёт скачок на 25 процентных пунктов от одного человека. Опрос девяти оставляет намного меньше пространства для неожиданного состава. А если участников всего десять и связаться с ними несложно, выборка вообще не нужна: спросите всех десятерых.
Увеличение объёма помогает только против случайного разброса. Десять тысяч ответов из чата одного кружка не превращаются во мнение всей школы. Миллион добровольцев из открытого опроса не даёт известного шанса участия каждому жителю страны. Большое число выглядит солидно, но усиливает точность ответа на тот вопрос, который фактически задала процедура, а не на тот, который хотелось задать.
Универсального размера «для репрезентативности» нет. Он зависит от размера и разнообразия группы, нужной точности, способа отбора и цены неверного решения. Для выбора фильма компанией друзей хватит одного честного жребия. Для оценки поддержки решения в городе нужны профессиональный дизайн опроса, достаточный объём и описание ошибок.
Если заранее известны важные части группы, выбор можно разделить на слои. Например, в компании есть офисные и удалённые сотрудники, а формат работы способен влиять на ответ. Тогда сначала фиксируют долю каждой части, а потом случайно выбирают людей внутри обеих. Это называется стратифицированной выборкой. Группы задают до просмотра ответов и по известным признакам. Нельзя сначала увидеть неудобные 75%, затем заменить одного участника ради красивых 50% и назвать это исправлением статистики.
Для качественного исследования задача может быть другой. Пять интервью не обязаны оценивать процент мнений во всём городе. Они могут находить разные проблемы и объяснять, почему люди действуют определённым образом. Тогда полезнее заранее собрать разные случаи, а в выводе не притворяться, будто три реплики из пяти означают «60% пользователей».
Перед выводом о всей группе задайте пять вопросов
Слова «участников выбрали случайно» сообщают только часть методики. Перед тем как верить проценту или публиковать свой, проверьте всю цепочку.
- О ком делается вывод? Назовите целевую группу точно: ученики одного класса, все клиенты за месяц, жители города старше 18 лет. Формулировка «все люди» почти всегда прячет неопределённость.
- Из какого списка выбирали? В нём должны быть люди из целевой группы, без систематически пропущенной части и случайных дублей.
- Как назначали шанс участия? Правило фиксируют до результата. Для простого отбора можно перемешать весь список и взять первые строки либо выбрать несколько имён без повторов.
- Кто не ответил? Запишите число приглашённых и число ответивших. Если известны возраст, отдел, город или другой важный признак, сравните состав выбранных и ответивших.
- Может ли случайный разброс поменять решение? Чем меньше выборка и ближе варианты друг к другу, тем осторожнее вывод. Нужны диапазон вероятных значений, повторная проверка или более крупная выборка, а иногда полный опрос.
Если список уже пронумерован, генератор случайных чисел может выбрать уникальные номера. Но инструмент отвечает только за жеребьёвку. Полноту списка, неответы и силу вывода он проверить не может.
В контрольном примере корректно сказать: «среди четырёх случайно выбранных людей трое поддержали предложение». Фраза «75% всей группы поддерживают предложение» требует дополнительного обоснования. Эта разница в одном уточнении и отделяет наблюдение от слишком смелого вывода.
Есть что добавить?
Напишите своё мнение, комментарий или предложение.