Hjem > . > ST 14/13: Faglige feller

ST 14/13: Faglige feller

Diskusjonen med HiOA-kollega Knut Seip om verdien av fagfellevurdering fortsetter. Når vi nå går konkret til verks, synes jeg vi blir mer enige.

Knut har også opplevd vurderinger av den typen Horton beskriver:

  • We portray peer review to the public as a quasi-sacred process that helps to make science our most objective truth teller.
  • But we know that the system of peer review is biased, unjust, unaccountable, incomplete, easily fixed, often insulting, usually ignorant, occasionally foolish, and frequently wrong

Kilde

Jeg har nettopp kommentert Knuts siste innlegg.

Du spør: hvor gode er fagfellevurderinger i ulike fagfelt?

Da ville jeg ikke lage min egen undersøkelse på HiOA (det er kanskje en oppgave for FoU-avdelingen?), men rett og slett se på forskningen på feltet.

Starbuck (2005)

Sybille Hildebrandt (forskning.no, 2011) har nevnt flere interessante artikler, f.eks. en studie fra 2005, hvor sosiologiprofessor William Haynes Starbuck fra Harvard beregnet hvor stor enighet det var mellom de ulike bedømmelsene av en artikkel. Det viste seg at korrelasjonen lå et sted mellom 0,09 og 0,5.

Jeg føyer til at en korrelasjon (Pearson’s R) på 0,09 bare forklarer en prosent av variansen. På dette nivået er det i praksis ingen sammenheng mellom vurderingene til ulike bedømmere.

Rothwell og Martyn (2000)

Nevrologene Peter M. Rothwell og Christopher N. Martyn fra Oxford kom i 2000 fram til en lignende konklusjon. De viste at korrelasjonen mellom bedømmerne ikke var mye større enn det man kunne forvente ved ren tilfeldighet.

Bornmann og Daniel (2009)

Når uenigheten er så stor, og antallet bedømmere er svært lite, kan den enkelte vurderingen få avgjørende betydning. Det fremgår av en nyere studie fra 2009. Psykologene Lutz Bornmann og Hans-Dieter Daniel undersøkte hvordan fagfellevurdering fungerer i det kjente kjemiske tidsskriftet Angewandte Chemie.

Redaktørene bruker av og til tre bedømmere per artikkel. Det hender imidlertid at en av dem leverer for sent. De to psykologene undersøkte hvilken konsekvens det ville ha hatt for utfallet hvis den tredje bedømmelsen hadde blitt med. Artikkelen viste at man hadde oppnådd en annen beslutning i hele 25 prosent av tilfellene.

Peter og Ceci (1982)

Et annet problem ved fagfellevurdering er at verken bedømmere eller redaktører alltid har helt kontroll på hva som tidligere er blitt publisert. Hvert år blir det utgitt tusenvis av vitenskapelige artikler, noe som selv ikke den mest oppmerksomme forskeren kan ha et fullstendig overblikk over.

Den svakheten ble synliggjort i en berømt studie fra 1982, av to amerikanske psykologer. Douglas P. Peters fra University of North Dakota og Stephen J. Ceci fra Cornell University sendte inn tolv artikler til en rekke høyt profilerte tidsskrifter. 12 til 36 måneder tidligere hadde de samme tidsskriftene allerede publisert disse artiklene. Bortsett fra at forfatternavnene var endret, var innholdet nøyaktig det samme.

– Bare tre av artiklene ble «oppdaget» av redaktørene og bedømmerne. Av de andre ni artiklene, som tidligere var blitt publisert, ble åtte artikler avvist fordi kvaliteten ikke var høy nok.

Hekletøy med store hull

Hildebrandts artikkel handler om disiplinfagene. Jeg har skrevet en kort og personlig vurdering  av bibliotekfaget, som jo er et typisk profesjonsfag.

Det aller meste av forskningen har en ad hoc karakter.  Resultatene blir ikke samlet, sammenholdt, kritisert, integrert og presentert i en form som egner seg for praktikerne. Feltet ligner selvbiografien til Sossen Krogh: et hekletøy med store hull. Forskningen blir ikke brukt og mister derfor relevans.

Booth og Brice (2007) påpeker det samme.

Referanser

  • Booth, Andrew and Anne Brice. Prediction is Difficult, Especially the Future: A Progress Report. EBLIP , 2007
  • Bornmann, L. & Daniel, H.-D. (2009). The luck of the referee draw. The effect of exchanging reviews. Learned Publishing, 22(2), 117-125.
  • Peters, D., & Ceci, S. J. (1982). Peer review practices of psychological journals: the fate of published articles, submitted again. The Behavioral and Brain Sciences, 5, 187-195.
  • Rothwell, P. M. & Martyn, C. N. (2000). Reproducibility of peer review in clinical neuroscience. Is agreement between reviewers any greater than would be expected by chance alone? Brain, 123, 361-376.
  • Starbuck, W. H. (2005). How much better are the most prestigious journals? The statistics of academic publication. Organization Science, 16, p. 180-200.
Kategorier:.
  1. Ingen kommentarer så langt.
  1. No trackbacks yet.

Legg igjen en kommentar

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut / Endre )

Twitter picture

Du kommenterer med bruk av din Twitter konto. Logg ut / Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut / Endre )

Google+ photo

Du kommenterer med bruk av din Google+ konto. Logg ut / Endre )

Kobler til %s

%d bloggers like this: