Statystka, - jej sukcesy i porażki ....

[suender]

Statystyka, jak zapewne większość ją rozumie, jest narzędziem, raz bardziej raz mniej przydatnym, w życiu społeczeństw i poszczególnego człowieka. Do zainicjowania niniejszego wątku zainspirowała mnie dyskusja z z wątku: "epigenetycznie by_t", gdzie dochodzi do nieporozumień w zakresie oceny wyników tych samych badań statystycznych w tej samej sprawie. Jak to możliwe? Ja to rozumiem, bo tak zawsze było jest i będzie. Ale skoro tak jest, to do czego w ogóle są potrzebne badania statystyczne? Prawie nikt się jednak tak rozstrzelonymi interpretacjami wyników badań statystycznych nie przejmuje, i robione są one nadal dalej.
Doszło do tego, że prawie wszystkie dziedziny życia społecznego i indywidualnego objęte są statystyką. Badanie leków (Nikodem), badanie liczb, jak rozkładają się np. liczby pierwsze w przedziałach co 1 000 000 (Stefan), niezliczone statystyki GUS, itd. itd.. U nas nawet w parafii proboszcz co roku odczytuje statystyki chrztów, pogrzebów, ślubów, etc. Natomiast ja osobiście prowadząc swój dziennik rejestruję codziennie wieczorem, czy dany dzień był dla mnie dobry, czy zły, czy obojętny, a później robię miesięczny wykres i się dziwuję co za krzywa mi z tego wychodzi.
Wydaje się rzeczą oczywistą, że statystyka im robiona na liczniejszej próbce, tym bardziej wiernie odzwierciedla tendencję przebiegu zjawiska. Ale siłą rzeczy próbka nie może być nieskończenie wielka, a przecież ciąg przyczynowo-skutkowy danego zjawiska jest zawsze prawie nieskończony. A wiec nawet drobna przyczyna sprzed nawet 1000 lat może mieć decydujący wpływ na wniosek wyciągany z danego badania statystycznego.
Swego czasu gdzieś czytałem pozycję pt. "Sukcesy i porażki chirurgii" i myślę sobie, czy są też "Sukcesy i porażki statystyki"?? Jeśli macie jakieś ciekawe przykłady, to bardzo proszę o podzielenie się nimi, - noch mal bitte!

Pozdr.

"My musimy wiedzieć, i my się dowiemy! [D. Hilbert]"

[suender]

Tak dla przypomnienia:

www.edustat.com.pl/historia.html?nr=1

Pozdr.

Statystyka - Nikodem już warczy, bryka

[nikodem321]

No! Bracie!
Wystawiłeś czerwoną płachtę na byka!
W zastępstwie byka Nikodem321 bryka!

Cesarzową wśród nauk statystycznych jest EBM - evidence based medicine.

Żaden lek, który wszedłby po ca. '86 roku teraz nie uzyskałby rejestracji!
Nie mają papierów zgodnych z EBM.

Furosemid znika - to jest jak film "Dzień, w którym zniknęła Ziemia"
Ale furosemid de facto nie ma żadnych papierów.

Jeśli coś tu na forum przytaczam, to biorę artykuły z NEJM-ika, z The Lancet, czasem z Dżamy (JAMA). O.K. Bemdżot (Britisch Medical Journal) też kiedyś mi się trafił.

Próbuję zaekscytować tutaj towarzystwo artykułami z tych czasopism, bo wiem. Przede wszystkim wiem, że statystyka jest dobrze zrobiona.

Statystyka płata figle.
Pisałem "Piersią czy jajkiem"
Tu NEJM miał zgryz W analizie intention-to- treat nic nie wyszło!
I taką oficjalną konkluzję NEJM musiał zamieścić

Chwała mu za to - Chwala Wielku Ukrainu. Nie wiem dlaczego to napisałam - wymknęło mi się.

Tylko zauważ. NEJM w konkluzji napisał - w analizie ITT nic nie wyszło, gdy cały numer aż tętni: w analizie per protocolam wyniki są grzmiąco pozytywne.

[suender]

nikodem321 napisał:

> Cesarzową wśród nauk statystycznych jest EBM - evidence based medicine.
>
> Żaden lek, który wszedłby po ca. '86 roku teraz nie uzyskałby rejestracji!
> Nie mają papierów zgodnych z EBM.

Choć wierzę w b. surowe badania współczesnych leków, to mnie raczej w moim pytaniu chodzi bardziej o finezję dot. badań statystycznych. Tu masz przykład:

sirius.cs.put.poznan.pl/~inf94358/statystyka.htm

, gdzie badano jakiś lek A i B. na mężczyznach i kobietach. Jak się okazuje problem tkwi w próbce wybranych pacjentów do badań (ile kobiet i ile mężczyzn). Zważ, że komplikacja przy badaniach statystycznych leku A i B, rozszerza się kiedy trza uwzględnić jeszcze np. wiek pacjentów, ich kody DNA, czy też nawet rasę i kolor skóry. Idąc tą drogą, trzeba by wykonać może i 100 badań statystycznych, dla rożnego rodzaju zestawów pacjentów, a to tylko dla dwu leków A i B, i później jakoś te badania statystyczne zinterpretować, - a tu już ogromne pole do popisu dla manipulacji.
Pozdr.

"My musimy wiedzieć, i my się dowiemy [D. Hilbert]"

[nikodem321]

To badanie zostało źle zaprojektowane i źle wykonane. To widać na pierwszy rzut oka.

Iuż w pierwszym z dnia niu "230 osób poddano leczeniu pewnym lekiem A." widać kardynalny błąd.
Dlaczego 230? A nie 235 albo 225? Ilość pacjentów, których należy włączyć do badania nie bierze się z sufitu lecz jest WYLICZANA.

* "160 osobom podano lek B." - dlaczego jest taka duża dysproporcja między gtupami?

* odsetek kobiet dla A - ca 11% dla B - ca 35% To oznacza, że te dwie grupy są niemożliwe do porównania.

Zakładając, że badanie było randomizowane - badania nierandomizowane nie mają znaczenia - to jasno widać, że randomizacja została sknocona. Wyniki tego eksperymentu można w piec wsadzić. Oczywiście można potraktować je jako badanie pilotażowe, ale na podstawie otrzymanych wyników ABSOLUTNIE nie można wyciągać żadnych wiążących wniosków.

"Zważ, że komplikacja przy badaniach statystycznych leku A i B, rozszerza się kiedy trza uwzględnić jeszcze np. wiek pacjentów, ich kody DNA, czy też nawet rasę i kolor skóry. Idąc tą drogą, trzeba by wykonać może i 100 badań statystycznych, dla rożnego rodzaju zestawów pacjentów,"

Nie, nie potrzeba. To załatwia randomizacja. Jeśli randomizacja została dobrze poprowadzona to otrzymujesz dwie populacje (albo i więcej) całkowicie ze sobą porównywalne. Potem dokonuje się analizy post hoc - podgrupach, ale do tych wyników należy podchodzić z BARDZO dużą ostrożnością. Statystycznie w co 20. podgrupie otrzymasz wynik fałszywie pozytywny. Jeśli analiza w podgrupach pokazuje jakiś ważny wynik, to należy badanie powtórzyć celując w interesującą podgrupę.

Całkiem niedawno była taka historia. Jeden z leków onko w raku płuca zawiódł. Badanie było poprowadzone na nieselekcjonowanej populacji. Na szczęście ktoś się dopatrzył, że gdy rakowi towarzyszy pewna rzadka mutacja, to lek wydaje się, że lek działa. Badanie wycelowane w tę grupę - pacjenci z rakiem płuca i z mutacją - wykazało potężne jego działanie.

Autor przytoczonego przez Ciebie przykładu pisze: "Tak więc któreś zestawienie musi być błędne. Pytanie tylko które? Ja na poszukiwaniu odpowiedzi na nie spędziłem sporo czasu, teraz męczcie się i wy ;) "
Wytłumaczenie tego paradoksu jest widoczne na pierwszy rzut oka. Co ciekawe żadne z tych zestawień nie jest błędne. Błędne są natomiast wyciągane wnioski.

[suender]

nikodem321 napisał:

> Zakładając, że badanie było randomizowane ....

1. Oj Niki, skóli Ciebie musiałem zajrzeć do Wiki, by się dowiedzieć, co to takiego ta randomizacja, i okazało się iż już dużo wcześniej o tym wiedziałem i uważałem ją za b. ważną w badaniach statystycznych, tylko sama nazwa była mi obca.

2. Teraz z Wiki:
"Chcemy zbadać, czy nowy lek polepsza pamięć. Tworzymy dwie grupy osób badanych: grupę eksperymentalną, w której ludzie otrzymują ten nowy lek i grupę kontrolną, w której ludzie dostają placebo. Prosimy, aby nauczyli się listy słów. Następnie sprawdzamy, w której grupie ludzie więcej zapamiętali. Jeżeli grupa eksperymentalna zapamiętała znacząco więcej słów, to możemy wnioskować, że nowy lek rzeczywiście polepsza pamięć.

Randomizacja polega tutaj na tym, że skład obu grup jest dobierany losowo – np. rzut monetą decyduje o tym, czy dana osoba znajdzie się w grupie eksperymentalnej, czy w grupie kontrolnej. Dzięki takiemu zabiegowi można zasadnie twierdzić, że obie grupy nie różniły się statystycznie pod żadnym ważnym dla eksperymentu względem. W związku z tym można zasadnie twierdzić, że różnice w zapamiętywaniu wynikają tylko z własności badanego leku."

Tak, ale tam nic nie pisze, czy grupę dla placebo wybierać losowo na molo w Sopocie, z idących gęsiego podopiecznych Domu późnej starości z Malborka, a dla leku A na pamięć, z idących gęsiego cyklistów z Elbląga, pchających przed sobą swoje wehikuły. Przyznasz, że taki wybór mógłby mieć pewien wpływ na wynik badań statystycznych. Nawet Sierotka Marysia z zawiązanymi oczami kiedy wybierałaby takie grupy, mogła by niechcąco trafić na taki przypadek. Rozumiem, wtedy Ty widząc coś takiego rzekłbyś: Badanie było źle przeprowadzone i sam byś z zawiązanymi oczyma wybierał na molo grupy do badań. Takie podważanie wyboru grup do badań prowadzi jednak do absurdu, - czujesz to?

3. Podobne "zamotanie" występuje w badaniach preferencji politycznych, kiedy się w jednym badaniu próbuje zmieścić więcej niż jeden element preferencji, np. a) ufam, b) jest mi obojętny, c) nie ufam, (a może ich być dużo więcej).
Tu masz przykład (miałem parę dni inny, dużo bardziej zagmatwany, ale nie potrafię go teraz znaleźć):

wiadomosci.onet.pl/tylko-w-onecie/sondaz-ibris-dla-onetu-ryszard-petru-ponownie-liderem-zaufania/ekpr4g
Popatrz tam na np. A. Rzepliński i P. Kukiz. Obydwaj mają zielonego słupka tyle samo, czerwonego Kukiz ma dużo więcej, a w żółtym są małe różnice. Jak tu zbilansować globalne sympatie dla jednego i drugiego? Czerwony słupek (nie ufam) w pewnym sensie odejmuje mocy słupkowi zielonemu (ufam), bo tu chodzi o statystyczny głos suwerena. Mylę się?

Pozdr.

"Wir muessen wissen, und wir werden wissen! [D. Hilbert]"

[suender]

suender napisał:

> rel="nofollow">wiadomosci.onet.pl/tylko-w-onecie/sondaz-ibris-dla-onetu-ryszard-petru-ponownie-liderem-zaufania/ekpr4g

Grafika o której piszę jest pod podtytułem:

"Ranking zaufania do osób publicznych"

Pozdr.

[pomruk]

suender napisał:
Tak, ale tam nic nie pisze, czy grupę dla placebo wybierać losowo na molo w Sopocie, z idących gęsiego podopiecznych Domu późnej starości z Malborka, a dla leku A na pamięć, z idących gęsiego cyklistów z Elbląga, pchających przed sobą swoje wehikuły. Przyznasz, że taki wybór mógłby mieć pewien wpływ na wynik badań statystycznych.
Ejże, chyba czegoś nie rozumiemy. My przecież nie wybieramy "grupy dla placebo" i osobno "grupy dla leku". My wybieramy w jakiś sposób grupę do badań, a czy osobnik z niej otrzyma później placebo czy lek decyduje za nas los, na który z oczywistych względów nie powinniśmy mieć wpływu.

[nikodem321]

suender napisał:


> Tak, ale tam nic nie pisze, czy grupę dla placebo wybierać losowo na molo w Sop
> ocie, z idących gęsiego podopiecznych Domu późnej starości z Malborka, a dla le
> ku A na pamięć, z idących gęsiego cyklistów z Elbląga, pchających przed sobą s
> woje wehikuły. Przyznasz, że taki wybór mógłby mieć pewien wpływ na wynik bada
> ń statystycznych.

Ale to nie jest randomizacja.

Do tego popełniasz błąd, który opisałem powyżej. Placebo stosujesz w zupełnie innej populacji (podopieczni domu starości), a lek badasz na zupełnie kimś innym (na cyklistach).
To dyskwalifikuje badanie.

Nawet jeśli ten fakt byś zataił, to dyskwalifikujące to podejście natychmiast ujawni się w prezentowaniu wyników. Placebo dostawaliby: starsi wiekiem, częściej kobiety, obciążeni schorzeniami dodatkowymi, z bardziej ograniczonymi funkcjami poznawczymi, stosujący większą ilość leków poza protokółem itd.

Nawet Sierotka Marysia z zawiązanymi oczami kiedy wybierałaby
> takie grupy, mogła by niechcąco trafić na taki przypadek. Rozumiem, wtedy Ty w
> idząc coś takiego rzekłbyś: Badanie było źle przeprowadzone i sam byś z zawiąza
> nymi oczyma wybierał na molo grupy do badań. Takie podważanie wyboru grup do ba
> dań prowadzi jednak do absurdu, - czujesz to?

Do żadnego absurdu nie prowadzi, bo tak grup badanych się nie kompletuje.

> 3. Podobne "zamotanie" występuje w badaniach preferencji politycznych, kiedy si
> ę w jednym badaniu próbuje zmieścić więcej niż jeden element preferencji, np. a
> ) ufam, b) jest mi obojętny, c) nie ufam, (a może ich być dużo więcej).

Ale w tym badaniu jest tylko jeden element preferencji - zaufanie.

Przez analogię do leków onko (w badaniach I/II fazy bez placebo) - nastąpiła regresja guza, zahamowanie wzrostu, progresja guza. I nie ma tutaj żadnego "zamotania".

> Tu masz przykład (miałem parę dni inny, dużo bardziej zagmatwany, ale nie potra
> fię go teraz znaleźć):
>
> wiadomosci.onet.pl/tylko-w-onecie/sondaz-ibris-dla-onetu-ryszard-petru-ponownie-liderem-zaufania/ekpr4g
> Popatrz tam na np. A. Rzepliński i P. Kukiz. Obydwaj mają zielonego słupka tyle
> samo, czerwonego Kukiz ma dużo więcej, a w żółtym są małe różnice. Jak tu zbil
> ansować globalne sympatie dla jednego i drugiego? Czerwony słupek (nie ufam) w
> pewnym sensie odejmuje mocy słupkowi zielonemu (ufam), bo tu chodzi o statys
> tyczny głos suwerena. Mylę się?

1. Więcej osób ma wyrobioną opinię w przypadku Kukiza niż w przypadku Rzeplińskiego
2. Więcej osób nie ufa Kukizowi niż mu ufa. Odwrotnie jest w przypadku Rzeplińskiego.
3. Ponieważ nie mogłem znaleźć nic o istotności statystycznej (zwykle sondażownie podają ją jako błąd pomiru, więc nie można powiedzieć, że wykazane różnice w postrzeganiu Kukiza i Rzeplińskiego są znamienne statystycznie.
4. "o ile notowania konkretnych osób uległy pogorszeniu, o tyle w realizowanym w tym samym czasie badaniu preferencji wyborczych, PiS zyskuje i zaczyna odrabiać ostatnie straty - zauważa ekspert IBRiS." Wierzę, że ekspert wie co mówi, ale na podstawie danych przedstawionych w tym artykule nie można tego stwierdzić - ani potwierdzić, ani zaprzeczyć.

Czy jest jeszcze coś frapującego, co przeoczyłem?