Kalibrering av måling

Fakta

Kort definisjon

Å kalibrere en måling er å prøve den mot et fast referansepunkt som ikke selv beveger seg. Interobservatørenighet sammenligner to observatører med hverandre; kalibrering sammenligner dem med noe man vet er riktig.

Canis forklarer

Enkelt forklart

To observatører som er enige, kan begge ta feil.

Det er hele grunnen til at kalibrering finnes som eget begrep. Interobservatørenighet forteller deg at målingen er konsistent. Den forteller deg ingenting om at den er riktig – og over tid kan to personer gli i samme retning sammen, slik at enigheten stiger mens gyldigheten faller. Se observatørdrift.

Kalibrering svarer på det andre spørsmålet: måler vi det vi tror?

Svaret krever et referansepunkt som står stille. I atferdsmåling er det som regel en fasit – en telling som er gjort så grundig at den kan behandles som riktig, og som deretter blir liggende.

Fakta

Utfyllende faglig forklaring

Hva en fasit er, og hvordan en lages. kubina2022 beskriver en konkret gjennomføring som er verdt å ha som mønster: fem forskere annoterte de samme seksti videosegmentene hver for seg, bilde for bilde, i programvare som skjulte deres merker for hverandre. Deretter møttes de og gikk gjennom uenighetene. Fasiten forelå først da alle fem var enige om alle seksti segmentene.

Begrunnelsen kilden gir for at fasiten må lages fra opptak, er den praktiske: i sanntid kan man ikke stanse, pause eller spole, og det er der den menneskelige feilen kommer inn. Fasiten er ikke en bedre observatør – den er den samme observasjonen gjort under betingelser som fjerner tidspresset.

Hva kalibreringen gir som enigheten ikke gir. Avviket kan deles i to typer som krever hver sin handling:

• Falske positive – registrert noe som ikke skjedde. Peker mot en definisjon som er for vid.
• Falske negative – oversett noe som skjedde. Peker mot at forekomsten er vanskelig å se, eller at definisjonen er for tung å holde i hodet mens man teller.

Enighet mellom to observatører kan ikke skille disse to. En fasit kan.

Når kalibrering er verdt kostnaden. Den er dyr – en fasit tar timer å lage – og derfor er den ikke standardarbeid. Tre tilfeller gjør den verdt det:

1. Lange måleserier, der drift har tid til å bygge seg opp.
2. Flere observatører som skal produsere sammenlignbare tall.
3. Beslutninger med konsekvenser – der tallet avgjør om et tiltak fortsetter, endres eller avsluttes.

Kalibrering av instrumenter, ikke bare av mennesker. Begrepet dekker også det bokstavelige: at stoppeklokka, appen eller telleren måler det den oppgir. Det er sjelden problemet i atferdsarbeid, men det er verdt å utelukke før man leter etter observatørfeil – særlig ved automatisert registrering, der ingen ser hva som telles.

Grensen for hva kalibrering kan gjøre. En fasit er riktig i forhold til definisjonen. Er definisjonen selv feil – peker den på noe annet enn det man tror den peker på – kalibrerer man presist mot feil mål. Kalibrering løser presisjonsproblemet, ikke oversettelsesproblemet.

Anvendelse

Eksempel: hundetrening

Et kurs skal sammenligne skåringer fra fire instruktører.

De lager én fasit sammen fra et opptak på ti minutter, bilde for bilde, til de er enige om hver forekomst. Deretter skårer hver instruktør det samme opptaket alene. To ligger på fasiten, én har systematisk falske negative på de raskeste forekomstene, og én teller konsekvent noe som ligger utenfor definisjonen. Tre helt forskjellige tiltak – og ingen av dem hadde vært synlige uten fasit.

Anvendelse

Eksempel: menneskelig læring

En skole måler leseflyt gjennom tre år.

Hvert halvår skåres det samme arkiverte opptaket på nytt. Ligger skåringen der den lå, er serien sammenlignbar. Har den flyttet seg, vet skolen det – og de vet hvor mye, i hvilken retning, og fra hvilket tidspunkt.

Hva begrepet ikke betyr

Kalibrering er ikke interobservatørenighet. Enighet er et mål på konsistens mellom observatører; kalibrering er et mål på treffsikkerhet mot en fasit. Det første er nødvendig, det andre er sterkere.

Det er heller ikke en engangsjobb. En kalibrering som ble gjort i starten av et prosjekt, sier ingenting om hvor målingen står halvveis.

Vanlige misforståelser

• «Vi er enige, altså måler vi riktig.» Enighet uten fasit utelukker ikke at begge har feil.
• «Fasiten er bare en dyktigere observatør.» Den er samme observasjon uten tidspress, gjentatt til enighet.
• «Kalibrering hører til forskning.» Den hører til enhver måleserie som skal bære en beslutning.
• «Én kalibrering holder.» Drift bygger seg opp over tid; kalibrering må gjentas for å fange den.

Kilder

• johnstonpennypacker1993
• kubina2022