Fler måste engagera sig i frågan om opinionsundersökningar i media

Det genomförs och publiceras dagligen en stor mängd undersökningar som är genomförda av en rad olika aktörer.

Media publicera gärna aktuella opinionsundersökningar samtidigt är det viktigt för både opinionsinstituten i undersökningsbranschen och beställare av opinionsundersökningar att få sina undersökningar publicerade. Här finns alltså ett gemensamt intresse.

Men hur är det med resultaten? Mäter undersökningen alltid det som den säger sig mäta? Återges och presenteras resultaten på ett korrekt sätt? Opinionsinstituten verkar i en förtroendebransch där det är av högsta vikt att publicerade resultat från undersökningarna är hållbara och korrekta.

Alla som är delaktiga i publiceringen av en undersökning har ett gemensamt ansvar att säkerställa att undersökningen och slutsatserna återges och presenteras på ett korrekt sätt. Framförallt är det viktigt att ställa sig frågan om resultaten är rimliga, d.v.s. det som vi på Novus kallar för "rimlighetsprincipen".

För att kunna tillämpa rimlighetsprincipen behövs det dock ofta tillgång till en "faktaruta" avseende den publicerade undersökningen. Denna behöver nödvändigtvis inte finnas med i den redaktionella texten men det bör absolut finnas en hänvisning till var man kan hitta information om undersökningens genomförande. Innehållet i "faktarutan" bör bl.a. innehålla information om vilken målgrupp som avses, typ av urval, datainsamlingsperiod, metod, antal intervjuer, deltagarfrekvens, frågeställning och svarsalternativ. Detta för att alla ska ha en möjlighet att göra en rimlighetsbedömning.

Novus är medlem i SMIF som ska "verka för ökad förståelse bland allmänhet, beslutsfattare och massmedier för marknads/samhällsundersökningar som fyller höga krav på kvalitet och etik". SMIF är branschorganisationen för alla undersökningsföretag som är verksamma i Sverige.

Novus anser att det är av yttersta vikt att alla undersökningsföretag, framförallt de som är medlemmar i SMIF, aktivt verkar för att publicerade undersökningar innehåller en "faktaruta" samt uppmärksammar och påtalar när bristfälliga undersökningar publiceras.

I Metro och SVD publicerades i november 2011 en undersökning genomförd på uppdrag av en "jobbsökarsajt" som visade att tre av fyra svenskar vill byta jobb, d.v.s. 75 %.

Är detta verkligen rimligt?

Läs om den publicerade undersökningen på:

http://www.metro.se/metrojobb/tre-av-fyra-vill-byta-jobb-men-fa-vagar/EVHkko!x93YleJ0MZxSE/

http://www.svd.se/naringsliv/karriar/detta-klagar-vi-mest-om-pa-jobbet_6599760.svd

Som ett led i Novus kvalitets- och utbildningsarbete samt vår egen läroprocess genomförde vi samtidigt en större undersökning, totalt 10 000 intervjuer, på telefon och i flera olika webbpaneler, slumpmässigt och självrekryterade, för att undersöka hur resultaten skiljer sig mellan olika metoder? I denna undersökning ställde vi bl.a. frågan, "Vill du byta jobb?", med svarsalternativ: "Ja", "Nej", "Vet ej". I ingen av dessa metoder var det fler än 34 %, d.v.s. en av tre som uppgav att de ville byta jobb. Detta resultat som är baserat på flera olika undersökningar med flera olika metoder skiljde sig markant mot resultaten som publicerades i Metro och SVD.

Den del av denna metodstudie som genomfördes inom ramen för Novus Sverigepanel genomfördes som 1 048 webbintervjuer med den svenska allmänheten, 18-79 år. Undersökningen genomfördes under perioden 22-30 november 2011. Deltagarfrekvensen var 59,8%. Målgruppen för just denna frågeställning var de 617 som var förvärvsarbetande. Av dessa var det 32 % som besvarade frågan "Vill du byta jobb?" med svarsalternativet "Ja".

Ett annat exempel är DN som den 26 augusti publicerade följande: Moderaterna får stöd av 36,9 procent av väljarna, en ökning med hela 4,5 procentenheter. En månad senare Publicerar DN följande: Moderaterna tappar kraftigt i senaste väljarbarometern. I septembermätningen får Moderaterna 31,7 procent av rösterna vilket jämfört med augustimätningen innebär ett tapp med hela 5,2 procentenheter.

Läs mer om undersökningen på:

http://www.dn.se/nyheter/politik/moderaterna-gar-framat--nar-ekonomin-sviktar

http://www.dn.se/nyheter/politik/moderaternas-samsta-siffror-pa-ett-ar

Är denna uppgång och nedgång verkligen rimlig?

I TV4/Novus Väljarbarometer får Moderaterna 31,5 % i augusti och 31,6 % i september. TV4/Novus Väljarbarometer ger svar på frågan hur man skulle rösta om det var val till riksdagen idag. Målgrupp för undersökningen är svenska väljare. Läs gärna mer på http://www.novusgroup.se/vaeljaropinionen/tv4novus-vaeljarbarometer

Ekot/Novus Svensk Väljaropinion visar inte heller samma dramatiska skillnader. Moderaterna får där i augusti stöd av 32,6 procent av väljarna, en ökning med 1,4 procentenheter. I septembermätningen får Moderaterna 32,2 procent av rösterna vilket jämfört med augustimätningen innebär ett tapp med endast 0,4 procentenheter.

Ekot/Novus Svensk Väljaropinion är ett väljarindex som väger samman resultat från Demoskop, Novus, Sifo, Skop och Synovate (numera Ipsos). Resultaten i publicerade mätningar vägs samman efter antalet intervjuer i respektive undersökning

Om vi under denna mätperiod exkluderar resultaten från undersökningen som publicerades i DN ur Ekot/Novus Svensk Väljaropinion så ligger Moderaterna i princip stabilt under denna period, d.v.s. samma mönster som i TV4/Novus Väljarbarometer.

Ett annat exempel när resultaten inte återges och presenteras på ett korrekt sätt är "Hemmafruar" undersökningen. Sajten familjeliv.se genomförde i höstas en undersökning bland medlemmar på sajten. I undersökningen svarar 45 procent att de skulle vilja vara hemmafru om de fick möjlighet. Undersökningen baserades på 9 500 svar från 70 000 medlemmar. Med rubriken "Hälften av kvinnorna vill vara hemmafru" fick undersökningen stort genomslag i media, inklusive TV, radio och tidningar. Detta genererade enormt mycket PR för sajten, men gav också Familjeliv en bra bild över medlemmarnas inställning i denna fråga.

Aftonbladet ställde samma dag en webbfråga på sin hemsida och resultatet visade att en stor del av läsare håller med familjelivs medlemmar. När drygt 18 000 kvinnor svarat på frågan om de ville bli hemmafru var resultatet att 55 procent svarat ja, vilket är en insikt för Aftonbladet när det gäller besökarnas engagemang i denna fråga.

Följande dag genomförde Novus en undersökning som visar att drygt var fjärde man (27 procent) i yrkesverksam ålder svarat att han skulle kunna tänka sig att vara hemmaman. Något fler kvinnor i samma målgrupp har svarat att de skulle vilja vara hemmafru (29 procent). Undersökningen genomfördes som en webbundersökning med svenska allmänheten i Novus Sverigepanel den 26-27 oktober 2011. 1 002 personer i yrkesverksam ålder besvarade undersökningen. Deltagarfrekvensen var 50 %. Frågeställning: "Skulle du vilja vara hemmafru/hemmaman om du fick möjlighet?", svarsalternativ, "Ja", "Nej", "Vet ej".

Sammanfattningsvis visar dessa undersökningar följande:

•Familjeliv: NÄSTAN HÄLFTEN …

•Aftonbladet: DRYGT HÄLFTEN …

•Novus: EN DRYG FJÄRDEDEL …

… skulle vilja vara hemmafru.

Ingen av resultaten är felaktiga men det saknas en mycket viktig information nämligen följande: Resultaten i Familjelivs undersökning speglar familjelivs medlemmars åsikt och Aftonbladets resultat speglar åsikten bland de som besvarat denna fråga på aftonbladet.se. Resultatet i Novus undersökning speglar åsikten bland den svenska allmänheten i yrkesverksam ålder.

Med hopp om att fler engagerar sig i denna viktiga fråga.

"In the race for quality, there is no finish line!"

Mikael Ohlsson

Analysansvarig på Novus