Søknadsvurdering Forskning

Denne rutinen beskriver de forskjellige trinnene i innvilgelser og avslag av søknader innenfor ExtraStiftelsens ordning Forskning. Den er detaljert og ment for intern bruk, men legges ut her for å gi søkere innblikk i søknadsvurderingen. Det samme gjelder Instruks fagutvalg Forskning og instruks for brukerrepresentanter.

Til orientering er «saksordfører» (SO) tittelen på de fagpersonene som vurderer søknaden. Andre steder kalles disse gjerne for «fagfeller« eller «reviewere».

Oppdatert 18.09.2018

OPPSUMMERING

I runde 1 vurderes hver søknad av et saksordførerpar i henhold til retningslinjene og Instruks saksordførere Forskning. Hver saksordfører (SO) setter sin karakter uavhengig av den andre. Basert på karakterene i denne runden avslås søknadene som får lav karakter av begge saksordførere. Søknadene som ikke avslås går til vurdering hos brukerrepresentantene.

Runde 1: Individuell vurdering

  • 1.1 Individuell vurdering ved saksordførere. Hver saksordfører (SO) setter sin karakter uavhengig av den andre.
  • 1.2 Utvelgelse til runde 2. Basert på karakterene i trinn 1.1 velges de søknadene med høyest gjennomsnittskarakter og de med størst uenighet mellom saksordførerne. Totalt ca 1/3 av søknadene.
  • 1.3 Første avslag. Søknadene som ikke velges til runde 2 blir avslått (ca 2/3)
  • 1.4 Brukerrepresentantene vurderer et utvalg av søknadene som skal behandles under fordelingskonferansen

I runde 2 (også omtalt som “fordelingskonferansen”) møtes saksordførerparet for å enes om en felles karakter (trinn 2.1). Deretter diskuteres søknaden i et plenum (trinn 2.2) bestående av alle saksordførerparene.  Dersom søknadene står likt etter saksordførernes vurderinger, er det brukerrepresentantenes karakter som blir avgjørende.

Runde 2: Fordelingskonferansen

  • 2.1 Felles innstilling ved saksordførerpar og brukerrepresentanter
  • 2.2 Plenumsgjennomgang av alle søknader.
  • 2.3 Second opinion og utvidet brukervurdering
  • 2.4 Gjennomgang av second opinion
  • 2.5 Avslag av lavest rangerte og innvilgelse av høyest rangerte søknader
  • 2.6 Rangering av gjenstående søknader
  • 2.7 Siste innvilgelse og avslag

RUNDE 1

TRINN 1.1 INDIVIDUELL VURDERING VED SAKSORDFØRERE

I Runde 1 skal saksordførerne vurdere sine søknader uavhengig av sin makker. De enkelte kriteriene skal vurderes på en skala fra 0-2 og i tillegg skal hver søknad gis en totalkarakter (1-7). For nærmere beskrivelse av skalaen, se Instruks saksordførere Forskning.  

TRINN 1.2 UTVELGELSE TIL RUNDE 2

Omtrent 100 søknader til fornyet vurdering i Runde 2. To tredjedeler av bevilgningsrammen skal gå til forskning som omhandler “helse- og tjenestetilbud i kommuner” og “samhandling mellom de ulike aktørene i helsetjenesten, innbefattet samhandling med spesialisthelsetjenesten” (KS). Den resterende tredjedelen går til “annet”.

Av den grunn velges søknadene som skal til Runde 2 i to omganger. I det følgende beskrives detaljene i utvelgelsesprosessen for de to områdene.

KS

1.2.1 Søknadene med de høyeste gjennomsnittskarakterene (GK), inntil 35 søknader er inkludert

Dersom det er flere søknader med den aktuelle gjennomsnittskarakteren skal alle søknader med denne gjennomsnittskarakteren inkluderes – med mindre det er over 40 søknader. Hvis så er tilfelle, settes skillelinjen ved den høyeste gjennomsnittskarakteren før 35 søknader er nådd.

1.2.2 Søknadene med 1) høyest GK og 2) de største differansene i karakter mellom saksordførerne (D) – helt til totalt 55 søknader er inkludert.

Stor differanse har forrang fremfor liten. Dvs si at om søknad X har 5 i snitt og begge SOene har gitt 5 og søknad Y har 5 i snitt, men SOene har gitt henholdsvis 7 og 3, så skal søknad Y i hovedsak velges.

Dersom det er flere søknader som har samme gjennomsnittskarakter og samme differanse når skillelinjen skal settes, skal skillelinjen settes ved den største differansen.

1.2.3 Alle andre søknader som har fått de to høyeste karakterene (6 eller 7) av en av SOene

1.2.4 Søknadene med 1) høyest GK og 2) størst D – helt til minimum 65 søknader er inkludert.

Stor differanse har forrang fremfor liten. Dersom flere enn 65 søknader har samme gjennomsnittskarakter og differanse, må alle disse inkluderes.

Annet

1.2.5 Søknadene med høyest GK, inntil 17 søknader er inkludert

Dersom det er flere søknader med den aktuelle gjennomsnittskarakteren skal alle søknader med denne gjennomsnittskarakteren inkluderes – med mindre det er over 20 søknader. Hvis så er tilfelle, settes skillelinjen ved den høyeste gjennomsnittskarakteren før 17 søknader er nådd.

1.2.6 Søknadene med 1) høyest GK og 2) størst D – helt til totalt 25 søknader er inkludert.

Stor differanse har forrang fremfor liten. Dvs si at om søknad X har 5 i snitt og begge SOene har gitt 5 og søknad Y har 5 i snitt, men SOene har gitt henholdsvis 7 og 3, så skal søknad Y i hovedsak velges.

Dersom det er flere søknader som har samme gjennomsnittskarakter og samme spredning når skillelinjen skal settes, skal skillelinjen settes ved den høyeste spredningen.

1.2.7 Alle andre søknader som har fått den høyeste karakteren (7) av en av SOene

1.2.8 Søknadene med 1) høyest GK og 2) størst D – helt til minimum 30 søknader er inkludert.

Stor differanse har forrang fremfor liten. Dersom flere enn 30 søknader har samme gjennomsnittskarakter og differanse, må alle disse inkluderes.

1.2.9 Justeringer

Dersom denne utvelgelsesprosedyren ender i at over 120 søknader skal opp til vurdering eller at fordelingen mellom saksordførerparene blir uforholdsmessig skjev, kan sekretariatet foreta nødvendige justeringer av prosedyren. Endringene må beskrives for fagutvalget og ExtraStiftelsens kontrollutvalg.

TRINN 1.3 AVSLAG 1

Avslag 1: Søknadene som ikke når opp og ikke blir blant de ca 100 utvalgte, vil bli avslått. De vil bli sendt videre til avslag i ExtraWeb før konferansen, slik at disse søknadene ikke blir en del av plenumsbehandlingen.

TRINN 1.4 INDIVIDUELL VURDERING VED BRUKERREPRESENTANTER

Søknadene med de høyeste gjennomsnittskaraktene innen hvert område skal vurderes av to brukerrepresentanter. Representantene vurderer minst 40 søknader innen KS og minst 20 søknader innen Annet. Disse skal vurdere søknadene uavhengig av hverandre, før runde 2. For nærmere beskrivelse av deres vurderingskriterier, se Instruks brukerrepresentanter Forskning.

RUNDE 2: FORDELINGSKONFERANSEN

Under Runde 2 samles alle saksordførerparene over to-tre dager for å sluttføre søknadsbehandlingen. Vær oppmerksom på at trinnene under gjennomføres i to omganger: En for KS og en for Annet.

Trinn 2.1: Felles innstilling ved saksordførerpar og brukerrepresentanter

Runde 2 begynner med at saksordførerparene gjennomgår alle sine søknader og setter en felles karakter.

Brukerrepresentantene skal også sette en felles karakter, men vil ikke rekke å gjennomgå alle søknadene og skal derfor prioritere søknadene med de høyeste gjennomsnitsskaraktene (satt av saksordførerne) og hvor uenigheten mellom brukerrepresentantene er stor.

TRINN 2.2: PLENUMSGJENNOMGANG 1

Etter at 2.1 er gjennomført skal alle søknadene opp til diskusjon i plenum. Søknadene skal sorteres etter og diskuteres i følgende rangering:

  1. Samlet karakter fra saksordførerparet
  2. Samlet karakter fra brukerrepresentantene. Der denne mangler skal gjennomsnittskarakteren fra brukerrepresentantenes første vurdering benyttes
  3. Antall prioriterte områder angitt SOenes samlede innstilling
  4. Gjennomsnittskarakteren fra første vurderingsrunde

Saksordførerne gis anledning til å be om vurderinger fra andre saksordførere og å kommentere vurderingene til andre saksordførere. Eventuelle justeringer av karakterene gjøres fortløpende.

Saksordførere og utvalgets leder kan også be om at det gjennomføres en tilleggsvurdering (second opinion) dersom det er behov for en grundigere vurdering. Utvalgets leder skal sørge for at saksordførerparene får omtrent samme antall søknader til second opinion.

TRINN 2.3: TILLEGGSVURDERING OG UTVIDET BRUKERVURDERING

Saksordførerparene vurderer søknadene de har fått til tilleggsvurdering.

Brukerrepresentantene bruker denne perioden på å vurdere søknadene som:

  1. …har blitt justert opp i karakter i trinn 2.1 og som de ikke har vurdert tidligere
  2. …er til second opinion og som de ikke har vurdert tidligere

 

TRINN 2.3: PLENUMSGJENNOMGANG 2

Søknadene som ble sendt til second opinion (og kun disse) gjennomgås på nytt. Etter at vurderingen er presentert skal i utgangspunktet saksordførerparet som opprinnelig hadde søknaden beslutte om karakteren skal justeres. Ved stor uenighet skal utvalgets leder avgjøre hvilken karakter som skal settes.

TRINN 2.4: AVSLAG OG INNVILGELSE

Etter gjennomgangen og eventuelle justeringer skal søknadene på nytt sorteres etter hierarkiet over. Deretter skal de høyest rangerte innvilges og de lavest rangerte avslås.

Dette gjøres i følgende trinn.

  • Til rangering. Mellom 7 og 13 søknader som befinner seg rundt området der skillet mellom endelig innvilgelse og avslag går til rangering hos saksordførerparene. Sekretariatet beslutter nøyaktig hvor mange søknader som skal til rangering, men det er et krav at mellom 20 og 80 % av søknadene som går til rangering skal innvilges.   
  • Avslag 2. Søknadene som scorer lavere enn den lavest rangerte søknaden som ble med til rangering blir avslått
  • Innvilgelse 1. Søknadene som scorer høyere enn den høyest rangerte søknaden som ble med til rangering blir innvilget.

TRINN 2.6: RANGERING

Alle søknadene som er valgt ut til rangering skal rangeres av alle saksordførerparene. Rangeringen skal gjøres på bakgrunn av plenumsgjennomgangen og sammendraget. Ved behov kan saksordførerparene også se på den fullstendige prosjektbeskrivelsen. Under rangeringen skal som alltid ExtraStiftelsens retningslinjer for ordningen Forskning ligge til grunn.

Alle saksordførerparene vil få hvert sitt rangeringsskjema. Dette skjemaet skal inneholde kolonner for:

  • Prosjektnummer
  • Prosjektnavn
  • Samlet vurdering fra saksordførerparet
  • Brukerrepresentantenes siste karakter
  • Antallet prioriterte områder (fra “Innstille samlet”)
  • Gjennomsnittskarakteren fra første vurderingsrunde
  • Brukerrepresentantens karakter fra første runde
  • Inhabilitet

Håndtering av inhabilitet

Dersom en av saksordførerne er inhabil for en eller flere søknader skal paret rangere alle de resterende søknadene i fellesskap, før saksordføreren som ikke er inhabil skal plassere den gjenstående søknadene. Dersom begge saksordførerne er inhabile skal søknaden(e) ikke rangeres. I dette tilfellet skal de resterende søknadene rangeres fra første posisjon (1) og uten opphold. Det vil si at dersom 10 søknader går til rangering og begge saksordførerne er inhabile for to søknader, skal plasseringene 1 til 8 brukes. Det skal justeres for det faktum at færre ranger brukes, slik at siste rang alltid gir samme poengsum hos alle saksordførerparene. I eksempelet ville plasseringen 8 gitt 10 poeng og plasseringen 1 ville gitt 1,25 poeng.

Brukerrepresentantenes rangering

Brukerrepresentantene skal enes om en rangering av søknadene etter kvaliteten på brukermedvirkningen.

Oppsummering av parenes rangeringer

Den totale rangeringen skal sammenstilles ved å beregne gjennomsnittsplasseringen. Resultatet skal presenteres plenum ved å sortere søknadene etter gjennomsnittplassering og deretter etter brukerrepresentantenes rangering.

Fagpanelet gis anledning til å kommentere på rangeringer. Ved svært tungtveiende innvendinger skal utvalgets leder beslutte om og hvordan det skal gjøres endringer i rangeringen.

Rangeringslisten skal umiddelbart lagres som pdf og skal sendes til fagutvalgets medlemmer og til minst en representant for kontrollutvalget.  

TRINN 2.7 INNVILGELSE OG AVSLAG

  • Innvilgelse 2: Innvilgelsen gjøres ved å summere søknadssummene, fra den høyest rangerte søknaden og nedover. Streken settes etter den siste søknaden hvor summen er under den resterende bevilgningsrammen.
  • Avslag 3: De resterende søknadene avslås