Просто игнорирайте!

Помага ли шоколадът да отслабнете? Червеното вино лекува рак? Безсмислени изследвания се публикуват всеки ден. Винаги трябва да си задаваме три важни въпроса.

Шоколадът ви прави стройни! Кой би си помислил това? Но цифрите са ясни: тестваните са получавали диета с ниско съдържание на въглехидрати в продължение на три седмици - на една група също е било инструктирано да яде бонбони всеки ден. Ето и ето: шоколадовата група отслабна повече от групата без шоколад. Славен триумф на шоколада и страхотна история, която попадна на първите страници по целия свят.

Когато такива резултати от изследването се представят в науката, първият въпрос е: резултатът статистически значим ли е? Винаги има разлики между две групи - едната ще има средно малко по-високо кръвно налягане, едната ще носи средно по-големи обувки, едната ще отслабне повече от другата. Това е неизбежно. Въпросът е дали тези различия могат да бъдат обяснени само чрез случайност или те са резултат от реална причинно-следствена връзка.

Това може да бъде изчислено статистически - говори се за „статистическа значимост“, когато вероятността такава разлика между двете групи да възникне чисто случайно, без основна причинно-следствена причина.

В случая с проучването на шоколада въпросът беше ясен: резултатите бяха статистически значими в изчислително изражение. И така, доказва ли това математически, че шоколадът помага да отслабнете? Не, не за дълго време!

Значимост: изчислена глупост

Историята на шоколада за отслабване беше чиста глупост. Това беше медиен експеримент от журналисти, които искаха да насочат вниманието към проблема с лошото отразяване на лошите изследвания. Умишлено беше проведено мизерно проучване, с твърде малко участници и нелепо кратък период на наблюдение, за да се определи дали медиите ще го възпроизвеждат безспорно.

Измерван е цял набор от параметри - не само тегло, но и различни кръвни стойности, общо благосъстояние и няколко други. При всяка индивидуална стойност вероятността да се намери голяма разлика между двете групи по чисто съвпадение е доста малка, но ако изследвате достатъчно стойности, в крайна сметка ще откриете разлика, която изглежда статистически значима. След това можете да докладвате ентусиазирано за това, вие мълчите за всичко останало.

Добри проучвания: Честни или измамени?

Ако резултатът е статистически значим, изследването е отстранило само първото препятствие. Трябва да се зададе и въпросът: добре ли беше направено проучването? Наистина ли измерва това, което би трябвало да измери - или е просто резултат, който се харесва на авторите?

Подобни мръсни трикове са доста често срещани. Да предположим, че искам да докажа, че червеното вино намалява риска от рак. Имам две групи - група за пиене на червено вино и една, която не пие червено вино. Досадно е, че не намирам статистически значима разлика в честотата на рака. Въпреки това мога да разбия данните на различни видове рак - от левкемия до рак на стомаха до рак на белия дроб. Тогава изведнъж имам много повече възможности на случаен принцип да намеря разлики между двете групи. Ако търся достатъчно дълго, гарантирано ще намеря рак, който е много по-рядко срещан в групата на червените вина. (И вероятно още един, който се появява по-често в тази група - но не е нужно да включвам това в моето съобщение за пресата.)

Освен това статистическата връзка не означава, че едното е причината за другото. Може би по-богатите хора пият повече червено вино и могат да си позволят едновременно по-добро здравеопазване? Такива объркващи фактори трябва да бъдат взети предвид при добро проучване.

Клинично значение: Има ли значение това?

Но дори и дадено проучване да даде високо статистически значими резултати и да е добре направено, може би ще е по-добре да го игнорирате. Има трети въпрос, който трябва да бъде зададен - и който често се забравя: дали резултатът е клинично значим? Достатъчно голям ли е ефектът, че изобщо си струва да се мисли?

Да предположим, че разработваме лекарство, което съкращава продължителността на грипната инфекция - от средно четиринадесет дни на тринадесет дни и шестнадесет часа. Да предположим, че нашето проучване е толкова добро, че можем да докажем този ефект без съмнение, въпреки че е толкова малко. Дали тогава лекарите биха били ентусиазирани да препоръчат това лекарство? Вероятно не. Пациентите наистина няма да забележат ефекта - дори и да е в действителност.

Често попадаме в този капан - не само когато има положителни ефекти, но дори по-често, когато паниката съобщава за опасности: нездравословен ли е акриламидът във пържените картофи? Да, малко. Но дали това е уместно? Не трябва ли да се страхувате, ако не се притеснявате за четиринадесетте цигари, които пушите всеки ден? Увеличават ли алуминиевите соли в дезодоранта риска от рак? Вероятно не - но дори предупредителните гласове да са прави, ефектът ще бъде толкова малък, че сто други решения, които вземаме всеки ден, ще имат по-голямо въздействие върху нашето здраве. Дали цветните моливи причиняват рак? Да, може би ако ядете много от тях. Но във всеки разумно реалистичен сценарий на ежедневието това изобщо няма значение.

Самата статистика не е достатъчна. Това, че някъде във вестника пише „статистически значимо“, не означава, че трябва да бъдем впечатлени. Винаги трябва да имаме предвид колко голям е ефектът, дали е припокрит от други ефекти, как е свързан с други ефекти. Само тогава можем да решим от какво да се страхуваме и от какво да пренебрегваме безопасно.

Флориан Айгнер е физик и учен. Той не само се занимава с вълнуващи теми в естествената наука, но често и с езотерика и суеверия, които толкова обичат да се маскират като наука. Всеки втори вторник той пише за науката, глупостите и разликата между тези две области в бъдещата зона.