Второй положительный сигнал усиливает первый только тогда, когда приносит новую информацию. На примере контроля деталей сравним независимую проверку, общую причину ошибок и простую копию результата.
Камера отметила деталь как подозрительную, а повторная проверка снова дала сигнал. Новый снимок, повторный анализ той же фотографии и копия отчёта выглядят как два совпавших ответа, но сообщают разное. На одной партии сравним три продолжения, воспроизведём их в калькуляторе Байеса и выясним, как не учесть одну ошибку дважды.
В статье вы узнаете:
Пусть H означает «деталь дефектна», а сигнал проверки означает «деталь нужно отложить для контроля». Сигнал добавляет информацию, если он встречается у дефектных деталей чаще, чем у исправных.
Для первой проверки сравнивают две частоты: какую долю реальных дефектов камера замечает и какую долю исправных деталей ошибочно отмечает. Для второй проверки нужны такие же две величины, но уже среди деталей, получивших первый сигнал:
Если эти частоты равны и наблюдаемый сигнал вообще возможен, второй ответ не различает дефект и норму. Вероятность не изменится. Если сигнал заметно чаще встречается при дефекте, вероятность вырастет. Если он чаще возникает у исправных деталей, второй результат будет говорить против дефекта, даже если интерфейс называет его «срабатыванием».
Поэтому вопрос «насколько точна повторная проверка?» слишком общий. Нужны два отдельных знаменателя. Общая точность вроде 90% может получиться при очень разных сочетаниях найденных дефектов и ложных тревог.
Возьмём партию из 100 000 изделий. Дефект есть у 1%, то есть у 1000 деталей. Остальные 99 000 исправны.
Первая камера замечает 90% дефектов и ошибочно отмечает 10% исправных деталей:
Дефектны 900 из этих 10 800 деталей:
900 ÷ 10 800 ≈ 8,33%.
Результат кажется низким, хотя камера находит девять из десяти дефектов. Причина в составе партии: исправных деталей в 99 раз больше. Даже небольшая доля ложных тревог создаёт большую группу.
Этот первый шаг уже подробно объясняет калькулятор формулы Байеса. Для новой задачи важнее другое: что произойдёт с теми же 10 800 деталями после ещё одной проверки.
Сначала рассмотрим сильное условие. Второе наблюдение устроено так, что внутри группы дефектных деталей его ошибка не зависит от ответа первой камеры. То же верно внутри группы исправных. Например, изделие снимают заново в других условиях, а пригодность процедуры подтверждена на парных данных.
Пусть второй проход снова замечает 90% дефектов и ошибочно отмечает 10% исправных. Среди уже отобранных деталей получаем:
Теперь реальный дефект есть у 810 из 1800:
810 ÷ 1800 = 45%.
Второй сигнал сильно изменил оценку: с 8,33 до 45%. Но даже два положительных результата не дали 100%. Исправные детали всё ещё многочисленнее, а ложные тревоги возможны на каждом шаге.
Здесь допустимо использовать одинаковые характеристики дважды, потому что мы отдельно предположили условную независимость. Сам повтор запуска такого разрешения не даёт.
Теперь обе камеры смотрят на ту же поверхность при похожем освещении. Блик, капля масла или царапина на защитном стекле способны вызвать оба сигнала. Вторая проверка остаётся отдельным наблюдением, но часть ошибок у неё общая с первой.
Предположим, отдельное исследование повторных проверок показало:
Эти числа учебные: они показывают механизм и не описывают реальную промышленную камеру.
Среди 900 дефектных деталей второй сигнал получат 855. Среди 9900 исправных повторно сработают 5940. Тогда доля дефектов после двух сигналов равна:
855 ÷ (855 + 5940) ≈ 12,58%.
Вероятность выросла по сравнению с 8,33%, поскольку второй сигнал всё же чаще повторяется у дефектных деталей. Однако рост гораздо меньше, чем в независимом сценарии. Большинство ложных тревог пережили повторную проверку вместе с настоящими дефектами.
Фраза «другая камера» сама по себе ничего не доказывает. У двух устройств могут быть общий образец, освещение, калибровочная мишень, программа обработки или способ подготовки поверхности. Для расчёта важны не названия приборов, а измеренные частоты второго ответа после первого.
Третий вариант самый простой. Оператор не делает новый снимок, а снова открывает сохранённый файл. Или два сотрудника получают копии одного и того же автоматического отчёта.
После известного первого сигнала копия будет положительной всегда: и у дефектной, и у исправной детали. Обе условные частоты равны 100%. Такой ответ не различает группы и поэтому ничего не меняет.
Вероятность остаётся 8,33%.
Два документа могут выглядеть убедительнее одного, но количество файлов не равно количеству наблюдений. То же относится к пересказу одной новости несколькими сайтами или двум отчётам, собранным из одной базы. Два алгоритма на одном исходном измерении могут наследовать общую ошибку, но не обязательно являются точными копиями. Добавляет ли второй результат информацию, определяют по условным частотам на парных данных.
| Второй шаг | Сигнал при дефекте после первого | Сигнал без дефекта после первого | Вероятность дефекта после двух сигналов |
|---|---|---|---|
| Новое условно независимое наблюдение | 90% | 10% | 45% |
| Проверка с общими причинами ошибок | 95% | 60% | 12,58% |
| Копия первого результата | 100% | 100% | 8,33% |
В первой строке второй ответ хорошо разделяет группы: отношение 90 к 10 равно 9. Во второй отношение 95 к 60 составляет лишь около 1,58. В третьей 100 к 100 равно 1: второй ответ одинаково неизбежен при обеих версиях и не содержит новой информации.
Это отношение называют отношением правдоподобия, или LR. Оно показывает, во сколько раз наблюдаемый сигнал вероятнее при дефекте, чем без него. MIT OpenCourseWare показывает удобную форму обновления: прежние шансы умножаются на отношение правдоподобия нового свидетельства.
Умножаются именно шансы, а не вероятность. После первого сигнала шансы дефекта равны 1:11, что соответствует вероятности 1/12, или 8,33%. Независимый второй сигнал умножает их на 9 и даёт 9:11, то есть 45%. Нельзя просто вычислить 8,33% × 9 и считать это ответом.
Обычный вопрос о независимости звучит так: помогает ли знание первого результата предсказать второй? Здесь оба сигнала связаны уже потому, что смотрят на одну скрытую вещь, состояние детали. Если деталь действительно дефектна, оба прибора чаще сработают.
Поэтому проверяют более узкое условие. Представим, что истинное состояние уже известно.
Сначала берём только дефектные детали. Меняет ли первый ответ вероятность второго? Затем отдельно берём исправные детали и задаём тот же вопрос. Если в обеих группах ответ не меняется, проверки называют условно независимыми.
Для этого нужны парные наблюдения с надёжным эталоном: обе проверки применяют к одним и тем же изделиям, а истинное состояние устанавливают более сильным методом. Просто сравнить общие проценты двух приборов недостаточно.
Инженерные рекомендации также различают резервирование и защиту от общей причины отказа. Health and Safety Executive советует учитывать общие соединения, среду и калибровку: два канала не становятся разнообразными только из-за двух корпусов.
Калькулятор eCalc моделирует один сигнал за запуск, поэтому последовательность выполняется в два шага.
На втором запуске поля описывают уже не все изделия. Это вероятности второго сигнала среди дефектных и исправных деталей, которые получили первый сигнал. Если таких данных нет, калькулятор не может сам определить зависимость.
Хранить много знаков после запятой нужно только между двумя шагами, чтобы не накопить заметное округление. Итог разумно округлить до двух знаков. Точность записи не делает исходные оценки точнее.
Повторная проверка не обязана подтверждать первую. В нашем симметричном независимом примере второй прибор замечает 90% дефектов и даёт 10% ложных тревог. Значит, отрицательный ответ встречается у 10% дефектных и у 90% исправных деталей.
После первого положительного результата в отборе было 900 дефектных и 9900 исправных деталей. Отрицательный второй результат получат 90 дефектных и 8910 исправных. Доля дефектов среди них:
90 ÷ (90 + 8910) = 1%.
В этом специально симметричном примере второй отрицательный ответ ровно отменил влияние первого положительного и вернул исходную вероятность. Для других характеристик результат будет иным. Общий вывод проще: второй ответ может повысить или понизить оценку, а направление определяют его частоты в двух группах.
Создайте новое наблюдение. Новый снимок, другое время, другой ракурс или иной физический принцип дают шанс получить независимую информацию. Повторное открытие файла такого шанса не даёт.
Перечислите общие причины ошибок. Освещение, температура, загрязнение образца, оператор, источник питания, калибровка и программа обработки способны связывать ответы. Новый прибор может наследовать тот же слабый участок процесса.
Проверьте процедуру на парных данных. Нужны изделия с известным истинным состоянием, прошедшие обе проверки. Для второго шага отдельно посчитайте частоту сигнала среди уже отмеченных дефектных и среди уже отмеченных исправных деталей.
Сравните результат с порогом решения. Переход с 8,33 до 12,58% математически реален, но может ничего не изменить в процессе. Если при обоих значениях деталь всё равно идёт на ручной контроль, дорогая автоматическая перепроверка не обязательно полезна. Если после 45% включается другой метод исследования, независимый второй канал способен изменить действие.
Вероятность сама по себе не сообщает цену ошибки. Когда известны стоимость проверки, ложной браковки и пропущенного дефекта, варианты можно сравнить через математическое ожидание. Этот шаг относится к решению, а не к доказательству истинности гипотезы.
Все проценты в примере заданы как известные, но в реальной системе их оценивают по конечной выборке. У таких оценок есть погрешность. Доля дефектов также меняется между линиями, сменами и поставщиками. Новый состав партии меняет исходную вероятность, даже если сами камеры работают так же.
Нужен и надёжный эталон дефекта. Если контрольный метод сам пропускает повреждения, измеренные 90% и 10% будут описывать согласие с этим методом, а не обязательно истинное состояние изделия.
Наконец, условная независимость является свойством конкретного процесса и данных. Её нельзя вывести из слов «повторная», «другая» или «автоматическая». Если показатели второго шага неизвестны, честный ответ состоит не в механическом повторе первого LR, а в диапазоне сценариев или в сборе парных наблюдений.
Вторая проверка добавляет информацию, когда после первого сигнала она всё ещё по-разному ведёт себя при дефекте и при исправном изделии. В нашем примере независимое наблюдение подняло вероятность до 45%, общая причина ошибок лишь до 12,58%, а копия отчёта оставила 8,33%.
Перед повторным расчётом спросите: что именно измерили заново, какие причины ошибок остались общими и известны ли две условные частоты второго сигнала. Эти три вопроса важнее самого факта, что на экране второй раз появилось одинаковое слово.
Напишите своё мнение, комментарий или предложение.