• Thursday June 27,2019

U znanosti, popularnost znači netočnost

Anonim

Tko je vjerojatnije da će početi kopati prerano: jedan tip s metalnim detektorom koji traži stari noktiju ili polje puno ljudi s detektorima metala koji traže zakopano blago?

U bilo kojem području znanosti bit će neke stvari koje su popularnije od drugih - možda neki gen, protein ili dio mozga. Jedino je prirodno i pravilno da neke stvari dobivaju mnogo pažnje ako se čini znanstveno važnima. No, Thomas Pfeiffer i Robert Hoffmann upozoravaju u jednom izvješću o PLoS-u da popularnost može dovesti do netočnosti - Procjena velikog stupnja učinka popularnosti na pouzdanost istraživanja.

Napominju dva razloga za to. Prvo, popularne teme privlače interes i novac. To znači da znanstvenici imaju puno toga da dobiju objavljivanjem "pozitivnih rezultata" jer im to omogućuje da se uključe u akciju -

U visoko konkurentnim poljima može postojati jači poticaj za "proizvodnju" pozitivnih rezultata, na primjer, mijenjanja podataka ili statističkih testova dok se ne dobije formalna statistička značajnost. To dovodi do napuhanih stopa pogrešaka za pojedinačne rezultate.

Ovim se mehanizmom nazivamo "napuhani efekt pogrešaka".

Drugo, na područjima gdje se provodi dosta istraživanja, povećava se mogućnost da će netko slučajno doći do pozitivnog nalaza -

Drugi učinak rezultat je višestrukog neovisnog testiranja istih hipoteza od strane konkurentskih istraživačkih skupina. Češće se testira hipoteza, vjerojatnije je da je pozitivan rezultat dobiven i objavljen čak i ako je hipoteza lažna.,

Ovim se mehanizmom nazivamo "višekratnim učinkom testiranja".

Ali se to događa u stvarnom životu? Autori kažu da, na temelju pregleda istraživanja interakcija protein-protein u kvascu. (Srećom, ne morate biti stručnjak za kvasac koji slijedi argument.)

Postoje dva načina pokušaja otkrivanja da li dva proteina međusobno djeluju unutar stanica. Možete napraviti mali eksperiment koji traži specifičnu interakciju: recimo, Protein B s proteinima X. Ili možete napraviti "visoki protok" filtriranja puno proteina da biste vidjeli koji su u interakciji: Da li protein A u interakciji s B, C, D, E.

Djeluje li protein B s A, C, D, E.

itd

Bilo je desetaka tisuća malih razmjera eksperimenata u proteinima kvasca, au novije vrijeme, nekoliko studija s visokim protokom. Autori su pogledali studije malih razmjera i otkrili da je popularniji protein, manje je vjerojatnije da će izvješćene interakcije koje su uključene bile potvrđene eksperimentima s visokim protokom.

Drugi i treći gore prikazani grafikoni prikazuju učinak. Povećanje popularnosti dovodi do pada broja potvrđenih rezultata. Prvi grafikon pokazuje da su interakcije koje su bile replicirane velikim brojem malih razmjera pokusa bile potvrđene, što je ono što očekujete.

Pfeiffer i Hoffmann primjećuju da studije s visokim protokom imaju vlastite probleme, pa je njihovo korištenje kao mjerilo za procjenu istine drugih rezultata malo problematično. Međutim, kažu da opći trend ostaje valjan.

Ovo je zanimljiv rad koji daje empirijsku podršku empirijskoj podršci teoretskom argumentu da popularnost može dovesti do nepouzdanosti. Nažalost, problem nije ni na koji način ograničen na kvasac. Bilo koje područje znanosti u kojoj se istraživači bave pretraživanjem objavljivih "pozitivnih rezultata" podložni su opasnostima od pristranosti publikacija, podizanju trešanja podataka i slično. Čak i opskurne teme su ranjive, ali kada se istraživači puste na skočiti na najnoviji znanstveni bandwagon, problemi se množe eksponencijalno.

Nedavni primjer može biti "depresivni gen", 5HTTLPR. Budući da je 2003. godine povezan s kliničkom depresijom, došlo je do eksplozije istraživanja ove genetske varijante. Doslovno se pojavilo stotine članaka - to je daleko najčešće istraženi gen u psihijatrijskoj genetici. Ali puno toga istraživanja došlo je od znanstvenika s malo iskustva ili interesa za gene. Lako je i jeftino prikupiti DNK uzorak i genotipirati ga. Ljudi su počeli rutinski gledati 5HTTLPR kadgod su učinili bilo kakvo istraživanje o depresiji - ili bilo čega povezano.

Ali čekajte - nedavna meta-analiza je izvijestila da gen zapravo nije povezan s depresijom. Ako je to istina (moglo bi biti), kako se pojavilo toliko mnogo stotina članaka koji su pronašli učinak? Pfeiffer i Hoffmannov rad pružaju uvjerljivo objašnjenje.
Link - Orac je također blogirao ovaj članak i stavio ga na karakteristični kut CAM.

Pfeiffer, T., & Hoffmann, R. (2009). Procjena velikog stupnja učinka popularnosti na pouzdanost istraživanja PLoS ONE, 4 (6) DOI: 10.1371 / journal.pone.0005996


Zanimljivi Članci

Legende "Hobita"

Legende "Hobita"

Kao i mnogi ljudi, slijedim priče o hobitima Floresa, H. floresiensis, s nekim zanimanjem od 2004. I, kao i većina ljudi, nemam osobnu stručnost ili vještinu koja je relevantna za procjenu jesu li ove navodne vrste hominin je nova vrsta (za razliku od patološkog modernog čovjeka). Pa kako ćemo procijeniti novi PLOS ONE članak koji se spušta na stranu da je to nova vrsta? Prvo, m

Buldogs, inbreeding i korelirani odgovor

Buldogs, inbreeding i korelirani odgovor

Posljednji od španjolskih Habsburgovaca New York Times ima dugu stvar, može li se buldog spasiti? U velikoj mjeri riječ je o usporedbi s problemima s čistokrvnim psima. Domaći psi puno su više homozigotni od ljudi. To jest, za njihove dvije genetske kopije oni imaju veću vjerojatnost da pokazuju sličnost od ljudi. To je

Juno na putu prema Jupiteru!

Juno na putu prema Jupiteru!

Vožnja na plamenu vatre iz Atlas V rakete, misija NASA-e Juno pokrenula je u 16:25 UT (12:25 istočnoeuropski vremen) na putu prema Jupiteru. Juno će potrajati 5 godina da dođete do Jupitera, uzimajući 3 milijardu kilometarsku stazu. U listopadu 2013. ponovno će proći Zemlju, koristeći se gravitacijom Zemlje i njegovim gibanjem oko Sunca da ukrade malenu količinu naše energije i pomogne je prema vanjskom Sunčevom sustavu. Odavde će

Naše Sunce svibanj su se preselili iz njegovog galaktičkog rodnog mjesta

Naše Sunce svibanj su se preselili iz njegovog galaktičkog rodnog mjesta

Naše sunce, koje se nalazi 26.000 svjetlosnih godina od središta Mliječne staze, možda je rođeno u nekom drugom dijelu galaksije, a kasnije se doselilo na njegovu trenutnu poziciju, otprilike na pola puta prema vanjskom rubu galaksije. Nova studija prkosi konvencionalnoj mudrosti da zvijezde provode cijeli životni vijek u istoj galaktičkoj regiji, te dovodi u pitanje astronomska teorija da galaksije imaju određene fiksne "naseljive zone" u kojima se vjerojatnije evoluira život. "N

Twitterov najveći hitovi - i najveće Miss

Twitterov najveći hitovi - i najveće Miss

iStockphoto Kao niti jedna društvena medijska platforma od Facebooka, Twitter-a "microblogging " korisnici mogu koristiti za emitiranje 140-znakovnih poruka - uhvatili su fasciniranost svjetskih medija, javnosti, pa čak i rijetkog svijeta slavnih osoba. Iako je broj stvarnih Twittera relativno mali - oko 14 milijuna korisnika, u usporedbi s Facebookom 200 milijuna - rast tog mjesta je bio fenomenalan, a korisnici su u 2008.

Hoće li deklaracija Vatikana o globalnom zatopljenju utjecati na cjelokupnu raspravu o klimatskim promjenama?

Hoće li deklaracija Vatikana o globalnom zatopljenju utjecati na cjelokupnu raspravu o klimatskim promjenama?

Ovo je gostujući post dr. Jamie L. Vernona, znanstvenog istraživača HIV-a i nastojanja za politiku, koji se nedavno preselio u DC kako bi dobio okus akcije Papinska akademija znanosti, Vatikanski nezavisni znanstveni panel, proglasio je da se mora poduzeti globalna akcija o klimatskim promjenama kako bi se izbjegle "ozbiljne i potencijalno nepovratne posljedice globalnog zatopljenja uzrokovane antropogenim emisijama stakleničkih plinova. &q