• Tuesday July 16,2019

Psihologija bi trebala postići 100% reproducibilnost

Anonim

Prošlog je tjedna Otvorena znanstvena suradnja izvijestila da se samo 36% uzorka od 100 zahtjeva iz objavljenih psiholoških studija uspješno replicira: Procjena reproducibilnosti psihološke znanosti .

Čini se da je stopa ponovljivosti od 36% loša. Ali što bi bila dobra vrijednost? Je li realno očekivati ​​da će se sve studije replicirati? Ako ne, gdje trebamo postaviti traku?

U ovom postu ću tvrditi da bi to trebalo biti 100%.

Prije svega, primijetit ću da niti jedan pokušaj replikacije nikad neće imati 100% šanse za uspjeh. Pravi učinak može uvijek, samo slučajno, biti statistički značajan, iako s dovoljnom statističkom snagom (tj. Prikupljanjem dovoljno podataka) ta je mogućnost vrlo niska.

Stoga, kada kažem da bismo trebali težiti "100% reproducibilnosti", ne mislim da bi 100% replikacije trebalo uspjeti, već da bi stopa uspješnih replikacija trebala biti 100% statističke snage.

Na primjer, u istraživanju Otvorene znanstvene suradnje, prosječna snaga 100 replikacijskih studija bila je 0, 92. Tako bi 100% ponovljivosti značilo 92 pozitivne rezultate.

Je li to realan cilj?

Neki tvrde da ako psiholozi samo proučavaju vrlo replicirajuće učinke, oni bi proučavali trivijalne, jer zanimljivi psihološki fenomeni su suptilniji. Kao što je to rekao jedan komentator,

Alan Kraut, izvršni direktor Udruge za psihološku znanost i član upravnog odbora Centra za otvorenu znanost, istaknuo je da čak i statistički značajna "stvarna otkrića " ne bi trebalo ponoviti.

Jedini nalaz koji će replicirati 100 posto vremena vjerojatno će biti trivijalan, dosadan i vjerojatno već poznat. "

Ne kupujem ovo. Može biti istina da je u psihologiji većina velikih učinaka trivijalan, ali to ne znači da mali, zanimljivi učinci nisu replicirani. 100% reproducibilnost, ograničena samo statističkom snagom, valjani je cilj čak i za male učinke.

Drugi pogled je da zanimljivi učinci u psihologiji su varijabilni ili ovisni o kontekstu. Kao što je to rekla Lisa Feldman Barrett, ako dva naizgled identična pokusa izvješćuju različite rezultate, jedan koji potvrđuje fenomen, a drugi ne,

Znači li to da je fenomen u pitanju nužno iluzoran? Apsolutno ne. Ako su studije dobro osmišljene i izvedene, vjerojatnije je da je taj fenomen.

je istina samo pod određenim uvjetima .

Sada, moj problem s ovim stajalištem jest da znanstvene tvrdnje čine bitno nepromjenjive. Suočeni s nulskim rezultatom, uvijek smo pronašli neku kontekstualnu varijablu, koliko god bilo trivijalno, kako bismo objasnili nedostatak učinka post hoc.

Sigurno je da mnogi (možda i svi!) Zanimljivi fenomeni u psihologiji ovise o kontekstu. Ali to ne znači da se ne mogu reproducirati. Reprodukcija i generalizacija su dvije različite stvari.

Volio bih vidjeti svijet u kojem psiholozi (i svi znanstvenici) ne upućuju samo na postojanje učinaka, već i opisuju kontekst ili kontekste u kojima se pouzdano vide.

Ne bi trebalo biti dovoljno za reći: "Ponekad se pojavljuje fenomen X, ali nemojte se iznenaditi ako se to ne dogodi u svakom pojedinom slučaju". Definiranje kada se učinak vidi mora biti sastavni dio istraživanja i izvještavanja to. Pod tim definiranim uvjetima, trebali bismo očekivati ​​da će efekti biti reproducibilni.

Otvorena znanstvena suradnja (2015). Procjena reproducibilnosti psihološke znanosti. Science, 349 (6251) PMID: 26315443


Zanimljivi Članci

Sa poboljšanjima, svetište sjemena  'Doomsday ' sigurno je, vjerojatno

Sa poboljšanjima, svetište sjemena 'Doomsday ' sigurno je, vjerojatno

Samo devet godina nakon službenog otvaranja, Svalbard Global Seed Vault u Norveškoj podvrgava se obnovi radi zaštite od klimatskih promjena. Rad je potaknut slučajnim poplavama koje su se dogodile prošlog tjedna, jer je topljenje permafrost upalo u pristupni koridor svodova. Dok sjeme nije bilo u opasnosti, poplave su ipak zabrinjavajući znak u objektu koji bi trebao podnijeti najgore što ovaj planet može baciti na njega. Popis

NOAA bodovi još jedan bizarni, Deep-Sea stanovnik

NOAA bodovi još jedan bizarni, Deep-Sea stanovnik

Često se kaže da manje znamo o dnu oceana nego što to radimo u Sunčevom sustavu. Još nismo našli izvanzemaljce, ali još uvijek postoji mnogo fascinantnih stvorenja koja će se otkriti upravo ovdje kod kuće. Preuzmite najnoviji nalaz 10-tjedne misije Nacionalne uprave oceanske i atmosferske uprave kako biste istražili dubine Marijanove jame. Ova dubo

 "Whale Wars " TV show dovodi do stvarnog života među aktivistima

"Whale Wars " TV show dovodi do stvarnog života među aktivistima

Nije tako iznenađujuće da nasilno uništavanje plovila od 1, 5 milijuna dolara dovodi do argumenta. Ali, očekuješ da će se argument između vlasnika broda i broda koji je to srušio. Umjesto toga, članovi aktivističke skupine Sea Shepherd Conservation Society, skupina u središtu Animal Planet TV show Whale Wars, raspravljaju među sobom i čineći svoje, rekao je / on je rekao argument javnog poslovanja. Skupina i vi

Ugodno iznenađenje za kanadske Kanalizacijske radnike: Dino Bones

Ugodno iznenađenje za kanadske Kanalizacijske radnike: Dino Bones

Mutantne kornjače, možda smo pogađali, ali kanadske posade za odvodnju otkrile su nešto drugo u kanalizacijama Edmontona: kosti dinosaura. Stručnjaci iz muzeja Royal Tyrrell sada rade na potvrđivanju donatora kostiju, ali sumnjaju da su nepokrivenih kostiju kostiju i kostiju nekoć pripadali T. roxu

Kako su moderni ljudi naselili svijet?

Kako su moderni ljudi naselili svijet?

Umjesto puno teksta, gore je stilizirana reprezentacija putova koje su neo-afričani preuzimali ~ prije 50 tisuća godina od njihove polazišta do nepoznatih dijelova. Dvije boje predstavljaju dva modela. Crvene linije pokazuju dva glavna struja koja izlaze iz Afrike, sjeverni put koji je gurnuo u središte srednje Azije i južni oceanski, što je sve do Australije. Drug

Buzz Aldrin izgovara: zaboravite na Mjesec, neka je glava na Mars

Buzz Aldrin izgovara: zaboravite na Mjesec, neka je glava na Mars

Kao drugi čovjek koji je ikad hodao na Mjesecu (izašao je iz lunarnog modula oko 15 minuta nakon Neil Armstronga), Buzz Aldrin zna malo o istraživanju svemira, o hrabarim ambicijama i velikim rizicima. Sada, Aldrin govori o NASA-i i glasno izjavljuje da je svemirska agencija izgubila svoju smjelost. S