Ложь, наглая ложь и статистика
В обсуждении недавнего поста на тему "Почему женщины водят не хуже мужчин" попросили статистику чего-то доказывающую. И это традиционно меня задело настолько, что я решил таки написать этот пост. Дело в том, что статистика в подавляющем большинстве случаев ничего доказать не может.Вот самый классический пример Ошибки выжившего.
Картина пробоин на самолёте – это как раз имеющаяся статистика. Но выводы по ней будут сделаны разные. Специалист, учитывающий ошибку выжившего будет бронировать как раз те места, которые не покрыты точками попаданий. А неспециалист забронирует наоборот. И будет радоваться улучшившейся живучести самолётов. Потому что даже неправильно забронированный самолёт выживет с большей вероятностью.
Будет ли кто-то бронировать по одной схеме и по другой, а потом сравнивать результат, чтобы доказать его статистически? Да ну нафиг. Есть модель, в которую разумные люди верят, а статистика даёт только данные для этой модели. Доказывать статистически – только тратить жизни пилотов.
Учитывается ли ошибка выжившего в той статитстике, которая обычно публикуется? Да нифига. Когда публикуются результаты, никгда не указывают методику, по которой эти результаты собраны (потому что это сложно и нудно). И получается: “По результатам голосования в интернете, 100% населения имеют доступ к интернету”.
А методика сбора статистики крайне важна. Мне в своё время открыла глаза следующая история, рассказанная одним социологом: “Стою рядом со входом метро, анкетирую людей в рамках своего соцопроса. Вечереет, поэтому решаю по-быстрому опросить ещё 10 людей и идти домой. Собираю анкеты с 10 прохожих, но вдруг что-то мне начинает казаться неправильным. Все 10 анкет как на подбор демонстрируют одни и те же ответы. Причём эти ответы такие же, как я сама бы дала. Ну и понятно, почему. Я тороплюсь домой, хочется быстрее развязаться с работой, не хочется конфликтов, поэтому из потока людей выбрала тех, кто кажется самым беспроблемным, кто такой же, как я. Анкеты отправляются в мусорку и я начинаю, как по методике, опрашивать каждого 25-го прошедшего мимо, чтобы выборка стала действительно случайной.”
Знание методики сбора статистики и предметной области являются ключевыми. Тот, кто не знает ни того, ни другого (а это все обыватели, неспециалисты), не смогут интерпретировать результаты. Очень меня радует в этом отношении фармацевтика. Правда радует, без всякого сарказма. В этой индустрии давно выработаны специальные методики оценки эффективности лекарств. И эти методики совсем не очевидны для неспециалиста.
Как оценить, что таблетка работает? Взять две кучки людей, одним давать таблетки, а другим не давать? А вот и не получится. Потому что та группа, которая получает хоть какие-то таблетки, демонстрирует гораздо лучшее состояние. Даже если эти таблетки – плацебо. Да ещё и более дорогое плацебо демонстрирует лучший эффект, чем дешёвое.
Поэтому в аптеках продаются дорогие лекарства, на которые врачи хмыкают, и которые люди радостно покупают. На врачей эти плацебо не действуют, а мы можем пользоваться безопасными и эффективными препаратами (плацебо). Так что в фармацевтических исследованиях сравнивают эффект с плацебо.
Статистикой очень легко напугать: "Наш город имеют ужасные показатели по ДТП! В среднем каждый день в авариях получает травмы 2 человека!" А на самом деле для милионного города эти показатели ниже среднего.
Или "Пешеходные переходы в нашем городе небезопасны! По статистике на пешеходных переходах сбивают больше людей, чем вне их!" А на самом деле это просто значит, что люди в городе переходят дороги по правилам, и вне переходов их просто нет.Мне традиционно интересуют вопросы организации дорожного движения. И много раз я читал “подтверждения статистикой” самых разных фактов. Например, что мотоциклы опаснее автомобилей, или что какие-то группы людей водят хуже. Но каждый раз приводимые “статистические доказательства” не выдерживали никакой критики. Хотя бы потому, что эта статистика основана только на официально зарегистрированных ДТП, и мы видим “ошибку выжившего” во всей красе. Но ещё и потому, что есть огромное количество факторов, которые просто неизвестны.
Например, исследования показали, что в 90х годах в России была явная корреляция между цветом машины и вероятностью погибнуть в ДТП. Чёрные машины были самыми опасными. А конкретнее: чёрные большие внедорожники были самыми опасными. А если ещё конкретнее, то было много ДТП, когда затонированный в ноль чёрный джип с пьяным братком за рулём, попадал в страшное ДТП. Иногда в машине и водителе дополнительно находили отверстия калибра 7,62мм. Но статистически цвет машины влиял, да.
Статистика может давать очень интересные результаты. Например, соц.опросы показали, что замужних женщин больше, чем женатых мужчин. Прекрасные результаты. Очень интересно.
Или интересно, когда по результатам выборов кто-то набирает 146%. Тоже статистика. Тоже иллюстрирует мою мысль.
Но если вам кто-то пытается доказать какой-то факт статистикой, не прикладывая тонны нудной информации о методики проведения исследования и доверительных интервалах, то можете не сомневаться: вам пытаются пропихнуть наглую ложь.
[deleted] 2018-11-01T06:26:20Z
bukov_ka 2018-11-01T08:08:50Z
[deleted] 2018-11-01T08:58:18Z
bukov_ka 2018-11-01T09:02:49Z
[deleted] 2018-11-02T19:58:01Z
bukov_ka 2018-11-03T04:48:45Z
Катя пользуется статистикой прекрасно. Например, в приведённом примере она использует субъективно-оценочный термин “хуже”. И делает очень правильно. Можно считать, что кто-то водит хуже кого-то (мнение такое). Можно считать, что статистически (в среднем) какая-то группа водит хуже какой-то другой (мнение такое). Но как привести статистику в этом случае? Привести статистику – это показать объективные данные. В том же посте Катя показывает, что объективные данные будут содержать неустранимые ошибки, которые сделают их бесполезными.
В общем-то вопрос один: какая статистика показала бы, что женщины водят хуже или лучше мужчин? Я думаю, ответ на этот вопрос прояснит, о чём я пишу.