Vi ved ikke om det virker

Hvor godt virker den behandling, der tilbydes i Danmark?

SFI har i forbindelse med Sundhedsstyrelsen projekt Misbrugsbehandling evalueret tre behandlingsmodeller.

LÆS HER om resultatet og hvad vi kan bruge det til.

SFI udgav d. 19. august 2015 rapporten ”Unge i misbrugsbehandling – Evaluering af tre behandlingsindsatser”.

Hvem:

Bag selve rapporten står Tina Termansen, Theresa Dyrvig, Nete Krogsgaard Niss og Jan Hyld Pejtersen. Om SFI hedder det bl.a. (fra hjemmesiden):

SFI er et uafhængigt nationalt forskningscenter under Socialministeriet.

SFI er det største danske forskningsmiljø på velfærdsområdet, og samarbejder tæt med de stærkeste faglige miljøer ved de forskellige universiteter.

SFI  løser dels opgaver for egne midler dels opgaver på kontrakt for ministerier, kommuner og organisationer. Opgaver på kontrakt udgør omkring halvdelen af SFI’s årlige omsætning.

Deres mission-statement lyder:

SFI er hele Danmarks institut for velfærdsforskning. Gennem relevant forskning af højeste kvalitet leverer vi vidensgrundlaget for velfærdssamfundets udvikling.

 

Hvorfor/formål:

I forbindelse med regeringsudspillet ”Lige muligheder” igangsatte Socialstyrelsen projektet ”Misbrugsbehandling til unge under 18 år”. Projektets formål var at implementere og afprøve tre behandlingsmodeller (6 kommuner har afprøvet én af de tre behandlingsmodeller) målrettet unge under 18 år med et problematisk forbrug eller misbrug af rusmidler. De tre modeller omfatter U-turn (udviklet i København), U18 (udviklet i Aarhus) og Multi Systemic Therapy – Substance Abuse (MST-SA, udviklet i USA). Alle tre modeller arbejder systemisk og ud fra et helhedsorienteret perspektiv, således at målet med behandlingen – ud over at reducere rusmiddelforbruget – også er at forbedre de unges trivsel og hverdagsliv. SFI – Det Nationale Forskningscenter for Velfærd har stået for evalueringen. Evalueringen af de tre behandlingsformer U-turn, U18 og Multi Systemic Therapy – Substance Abuse er bestilt og finansieret af Socialstyrelsen.

 

Konklusioner:

Udgangspunktet for rapporten er – ud over at se på de tre indsatsers effekt i forhold til at reducere rusmiddelforbruget – også at se på, hvorvidt de kan forbedre de unges trivsel og hverdagsliv.

 

Resultat – rusmiddelforbrug:

Andelen af unge, der har brugt rusmidler, reduceres for alle tre behandlingsmodeller. Samlet set er denne andel signifikant reduceret fra ca. 80 pct. til ca. 50 pct. af de unge. Ser vi specifikt på de unges hashforbrug, er andelen af unge, som har røget hash to eller flere gange om ugen, faldet signifikant fra 59 pct. ved påbegyndelsen af behandlingen til 26 pct. efter behandlingen.

 

Resultat – trivsel og hverdagsliv:

Der er sket en ændring for de unge, mens de modtager behandling i modellerne både i forbindelse med skolefravær, vennekontakt og psykisk velbefindende.

 

Resultat – kriminalitet:

For alle tre modeller er der sket en reduktion i andelen af unge, der har begået kriminalitet den seneste måned.

På den ene indsats er andelen af deltagere, der begår kriminalitet, faldet fra 45 procent til 14 procent.

(Kilde: Pressemeddelelse fra SFI)

 

Kritik/kommentarer:

Overordnet bruges to designs i forskning:

 

1) Kvalitative

2) Kvantitative/eksperimentelle – denne form bruges til at lave guidelines for hvordan vi skal arbejde. Offentlige institutioner bruger denne (Socialstyrelsen) til guide praksis.

 

I rapporten fremgår det, at man har benyttet sig af både kvantitative og kvalitative metoder.

 

SFI skriver om deres brug af designs:

“Behandlingernes betydning for de unges forbrug og øvrige hverdagsliv, så som skolegang, sociale relationer, psykiske velbefindende og kriminalitet, har vi dels undersøgt kvantitativt via en før- og eftermåling, hvor de unge har udfyldt et spørgeskema ved indskrivning i og udskrivning fra behandling. Målingerne er foretaget, hver gang en ung har påbegyndt og færdiggjort behandling. En mindre gruppe af unge har også besvaret et opfølgende spørgeskema efter behandlingen. De kvalitative metoder har vi brugt til at gå i dybden med samme temaer, som vi undersøger via spørgeskemaerne. Vi har foretaget semi-strukturerede interview og fokusgruppeinterview med modelejere, behandlere og unge. Interviewene har komplementeret før- og eftermålingen, idet vi har haft mulighed for datatriangulering samt at perspektivere og uddybe spørgeskemabesvarelserne”.

I forhold til at evaluere på behandlingsindsatsernes effekt, bør dette ideelt set (jf. SFI), ske ved et såkaldt RCT (Randomiseret kontrolleret forsøg). Ifølge rapporten opstår der dog en etisk udfordring når det gælder sociale indsatser som her, fordi det ville betyde, at nogle med et behandlingsbehov, skulle vente (ikke få behandling). Desuden ville det også konflikte med den gældende behandlingsgaranti (tilbudt indsats indenfor 2 uger i kommunerne).

 

Om RCT (også kaldet eksperimental design):

RCT-studie vurderes som ”den gyldne standard” inden for forskningen. I bund og grund handler designet om, at udsætte et tilfældigt udvalgt udsnit af målgruppen for indsatsen og sammenligne effekten op i mod ”ingen indsats”.

Fremgangsmåden er at udvælge en gruppe af personer i målgruppen og dele personerne tilfældigt (randomiseret) i to grupper. En gruppe får indsatsen og en gruppe modtager ikke indsatsen (kontrolgruppe). Herved håber man at kunne isolere og undersøge effekten af indsatsen.

 

RCT: (I virkeligheden to typer af dette design: Randomiseret klinisk/kontrol studie)

 

Kontrol:

Kontrollér behandling mod en kontrolgruppe

 

Klinisk:

Sammenligner behandling A og behandling B

 

Blinded:

Klienten ved ikke hvem der får hvilken behandling

 

Dobbelt blinded:

Styrker: Hverken klient eller forsker ved hvem der får hvilken behandling

  • Giver os mulighed for at formulere en hypotese for derefter at afprøve den
  • Minimer hvor meget ud fra kommende faktorer påvirker resultatet (tydelig formulering af hvem der kan være en del af studiet): giver et billede af hvor sandsynligt det er, at resultatet er tilfældigt
  • Tydeligt beskrevet hvordan der er arbejdet, så forskningen kan gentages
  • Vi leder efter løsninger, der kan bruges af alle (virke som guidelines)

 

Svagheder:

Den ofre ekstern validitet for at opnå intern validitet, dvs. vi er nød til at få testpersoner til at ligne hinanden, for at kunne sige om det virker

M.a.o. kan resultaterne generaliseres til den virkelige verden?

I evalueringen vælger man pga. af det etiske dilemma, ikke at bruge RCT, men derimod en ”før- og eftermåling”.

 

Kommentar til designvalg foretaget af SFI:

Ifølge rapporten fremgår det (side 41 under ”Evalueringsdesign og dataindsamling”) at ”den ideelle måde at gøre dette på (evaluere de tre behandlingsindsatsers effekt på, red.) er gennem et randomiseret kontrolleret forsøg (RCT)”. Det kan fortælle os noget om hvorvidt de enkelte behandlingsindsatser virker – ”op mod ingenting”. De vælger at afstå fra dette ideelle design pga. det etiske dilemma, men vælger ikke at benytte den anden mulighed i designtypen, nemlig et randomiseret klinisk studie, der sammenligner i 3 indsatser – eller andre indsatser.

I stedet er altså valgt at bruge en før- og eftermåling. I rapporten er SFI selv klar over denne svaghed, og skriver:

”Denne metode giver gode indikationer af behandlingernes virkninger for de unge, selvom vi ikke entydigt kan sige, at det er behandlingen, som er årsag til et evt. reduceret forbrug hos de unge”.

 

Her følger det første afgørende kritikpunkt:

I stedet for at få et resultat, der siger noget om hvilken af de tre metoder der virker bedst (siger i øvrigt intet om andre metoder (dermed ikke bedst af alle)), får vi et resultat med bias – skævhed i de resultater rapporten lægger frem.

 

Andet afgørende kritikpunkt:

SFI forsøger at bygge en kontrolgruppe ind ved at sammenligne de unges forbrug af rusmidler efter endt behandling, med en gruppe unge der har været i behandling i årene 2008-2011.

For at undgå skævheder og fejlagtige konklusioner i klinisk forskning, er det afgørende at benytte randomisering og blinding. Netop ramdomisering er langt den vigtigste af de to. Problemet her er, at SFI benytter sig at såkaldte ”historiske kontrolgrupper” og dermed selv udpeger deres kontrolgruppe. Dette gør, at resultaterne ikke bliver særlig pålidelige, og hvad værre er, så komme man i reglen til at overvurdere betydningen af den nye behandling; ved at sammenligne med en historisk kontrolgruppe risikerer man således at medvirke til, at der indføres virkningsløse eller skadelige behandlinger i den tro, at de er gavnlige.

 

Tredje kritikpunkt:

Ved gennemlæsning af rapporten, viser der sig en række vanskeligheder i forhold til på hvilket grundlag konklusioner er frembragt. Her følger en række forbehold som rapporten selv lægger frem:

Vedr. indsamling af elektroniske spørgeskemaer ved ind- og udskrivning:

”Desuden har problemerne med det første elektroniske registreringssystem muligvis betydet, at nogle unge ikke er registreret” (side 45)

”Ud over problemer med at få de elektroniske spørgeskemaer til at virke, har det også været en udfordring at få de unge til at besvare alle spørgsmålene i spørgeskemaet, især i forbindelse med udskrivningen” (side 45)

 

Vedr. antal i behandlingsforløb:

Herudover har det været udfordring, at nogle skemaer kun er besvaret delvist. Det er således ikke alle indskrevne unge, som indgår i analyserne” (side 47)

”Samlet set betyder dette, at vi ud af de 391 indskrevne unge har 117 unge, der som minimum har besvaret rusmiddelspørgsmålene i både indskrivnings- og udskrivningsskemaet” (side 47)

”Dog er der hos alle modeller (behandlingsindsatser, red.) også en gruppe af unge, der mangler udskrivningsdata på” (side 48)

”Ser vi på det samlede antal unge, der har gennemført et behandlingsforløb og er færdigbehandlede, drejer det sig om 112 unge svarende til 28 pct. af de unge. Det betyder dermed også, at 72 pct. at de, som har været indskrevet i behandling, ikke har gennemført et behandlingsforløb (side 48)

”Vi skal her gøre opmærksomme på, at den gruppe af unge, som indgår i evalueringen, således kun udgør et udsnit af den samlede gruppe unge, som har været i behandling, og dermed ikke nødvendigvis er repræsentativ for den samlede gruppe. For eksempel ser vi en højere gennemførselsrate blandt de unge, der indgår i evalueringen, hvilket kan have betydning for resultaterne” (side 49)

 

Vedr. opfølgningsundersøgelse:

”Undersøgelsen blev foretaget senere end oprindeligt planlagt, således at opfølgningsperioden i nogle tilfælde er betydeligt længere end de planlagte 6 måneder” (side 50)

 

”Vores analyse af opfølgningen er derfor foretaget på 53 personer, som har besvaret alle tre skemaer” (side 50)

 

”Blandt andet derfor skal opfølgningsresultater tages med et vist forbehold” (side 50/51)

 

”Vi har desuden sammenlignet de unges hashforbrug ved udskrivningen for hver af behandlingsmodellerne med hashforbruget hos de unge i opfølgningsundersøgelsen (i UngMap). Selvom det kan virke mere naturligt at sammenligne opfølgningsdata fra de to undersøgelser, er der en mulighed for, at opfølgningsundersøgelsen er biased på grund af den lave svar procent” (side 51)

 

På grund af det lave antal svar i opfølgningsundersøgelsen i nærværende undersøgelse ville det heller ikke være muligt at lave analyser for de enkelte behandlingsmodeller” (side 51)

 

Vedr. tiden efter behandling:

(Der er foretaget tre målinger: ved indskrivning, ved udskrivning samt ved opfølgning efter behandlingens afslutning, red.).

 

”I alt 53 personer har svaret på spørgeskemaer på alle tre tidspunkter” (side 129)

 

”På grund af problemerne med den elektroniske dataindsamling blev opfølgningsmålingen forsinket, og den er således kun foretaget af to runder med forskelligt interval fra de unges udskrivning. Som det fremgår (af tabellen) fordeler de unge sig over en periode, der går helt fra mindre end 6 måneder siden til 2 år eller mere siden behandlingsafslutning”.

 

Det er derfor vanskeligt at vurdere, om tidsperioden fra afsluttet behandling har en betydning for behandlingens virkning på længere sigt (side 130)

 

Vi har i analyserne ikke taget hensyn til, at der er forskel på, hvornår de unge har forladt behandlingen” (side 130)

 

Det tyder således på, at de unge der svarer i opfølgningsundersøgelsen, i højere grad er unge, der er holdt op med at ryge hash, end den samlede gruppe af unge, som vi har lavet vores analyse på baggrund af. Dermed er de unge i opfølgningsgruppen ikke repræsentativ for den samlede population af unge i undersøgelsen” (side 131)

 

Vi har ovenfor valgt at fremhæve de forbehold (med fed) der taler for sig selv og egentlig siger os noget om rapportens validitet.

Kigger vi på konklusionerne igen, så er det en meget lille population der ligger til grund for resultatet. Da data er for spinkelt (SFIs egen vurdering i rapporten, 53 unge) til at opdele analysen på de enkelte behandlingsmodeller, kan vi heller ikke sige noget om behandlingsindsatsernes effektivitet i forhold til hinanden.

Rapporten indeholder en række bias (se kritikpunkter) der sammen med det meget lille datagrundlag, må sætte et reelt spørgsmålstegn ved pressemeddelelsens overskrift: ”Misbrugsbehandling viser lovende tegn”.

 

Vi giver det sidste ord til SFI (fra rapporten):

Det er endeligt værd at bemærke, at de tre behandlingsmodeller adskiller sig fra hinanden blandt andet med hensyn til målgruppe, hvorfor man skal være påpasselig med at sammenligne resultaterne direkte med hinanden. Det anvendte evalueringsdesign gør det desuden ikke muligt med sikkerhed at sige, at de resultater, vi ser, skyldes behandlingsindsatserne alene. Derudover har vi oplevet stort frafald blandt de unge, hvilket formentlig skyldes målgruppen og de udfordringer, denne gruppe ofte står med. Det betyder, at ikke alle indskrevne unge indgår i evalueringens analyser.