Fem farliga fallgropar när du jobbar datadrivet

Data använder vi ofta i samband med affärsutveckling och kommunikation. Att arbeta med rekrytering eller employer branding är ju en typ av kommunikation. Processen ser ofta ut så att du gör din research, lär dig mer om en grupp människors värderingar och beteenden. Du definierar din målgrupp. Utifrån det tar du fram en strategi som omfattar målgrupp, budskap och definition av resurser.

Du tar fram en idé och därefter affärsutvecklar du och/eller kommunicerar. Sista steget är att sälja och göra avslut. Jag har i mitt yrkesliv arbetat inom hela detta flöde. Det intressanta är att reflektera över din roll i processen. I början måste man vara mycket objektiv, när man gör sin research. Sedan, när man närmar sig sälj och avslut, måste man bli mer subjektiv.  För att inte hamna fel är det viktigt att hålla ordning – om resaerchdelen går fel kan det välta hela skutan.

Här vill jag berätta om vilka fallgropar man lätt faller i när graferna börjar rassla upp framför näsan. Jag vet, det är lätt att dras med och tolka in en massa spännande samband. Men att hålla i hatten är det bästa vid all tolkning av data.

Fallgrop nr 1: att ha en förskjutning i underlaget
Ett av de vanligaste misstagen är att ha en kraftig underrepresentation av någon grupp i ditt urval jämfört med din underliggande population. Din population är den grupp du vill dra slutsatser om. Som du säkert känner till så gör du ett urval. Urvalet ska vara representativt. Det vill säga, det ska omfatta ett visst antal procent av populationen och det ska vara likadant fördelat. För varje faktor du ska dra slutsatser om så gäller att n ska vara minst 50 där n är antalet svarande. Om du har en fråga om hur många procent ingenjörer som är män och hur många som är kvinnor så ska du ha 50 svarande och de ska vara representativa för svenska ingenjörer. Som du själv säkert förstår så är det kanske svårt med 50 stycken och därför kan det krävas några fler. Ju fler desto bättre. Men att få folk att svara är både dyrt och svårt. Därför ska du inte samla in mer data än du behöver.

Vi som arbetar med enkäter har en mycket sur sanning att erkänna. Kvinnor svarar i mycket högre utsträckning på enkäter än män.

I de flesta undersökningar vi gör får vi en övervikt av kvinnliga svarande. Detta innebär i och för sig att kvinnor har ett starkt tolkningsföreträde, men jag tror att alla undersökningar utom månne de stora SCB-folkräkningarna lider av en övertolkning av kvinnliga svar. Det är också enligt min erfarenhet en viss typ av män som inte svarar. De som är mest engagerade i sitt arbete och har den bästa karriären just nu. De som har mest pengar. Det är mycket svårt att få en bra representation av dessa män i våra undersökningar, vad vi än frågar om. Därför gör jag alltid en liten extra justering och en extra undersökning om vad männen har svarat. Har män och kvinnor svarat lika på frågorna kan du vara rätt bekväm med ditt resultat – om inte männen har en demografisk undervikt. Annars finns det anledning att justera resultatet och göra en ny ansats till datainsamling.

Du kan stratifiera ditt urval, det vill säga se till att du har rätt andel av svaranden i avgörande faktorer. Exempelvis fördela mellan regioner, högskolenivå och ålder och sedan dra slutsatsen hur många procent är män och kvinnor.

Tänk också igenom alla andra orsaker till förvridning av resultatet. Varför svarar fler av en viss utbildningsinriktning eller yrke? Varför svarar fler i en viss stad? Och så vidare.
Det är här din demografi blir otroligt viktig.

Fallgrop nr 2: att samla in för mycket data
Det är alldeles för lätt att bli ambitiös och vilja veta allt. En gammal statistisk sanning är att veta vad du vill ha fram. Visualisera. Rita upp. Skapa en modell i huvudet. Vad är det egentligen du behöver veta? Hur ska det presenteras? En mycket viktig del i att tolka data är att sätta upp grafer och korrelationer mellan faktorer. De kvinnliga ingenjörer som svarat på vår enkät och är civilingenjörer, hur ser de på framtidens arbetsmarknad? De kanske ser på denna på exakt samma sätt som de manliga. Eller kanske inte?

Det är så lätt att vara lite allmän – det vore intressant att veta hur många hundägare i olika städer i Sverige som promenerar på morgonen. Men egentligen, varför vill du veta detta? Är det relevant för syftet? Vad är syftet med att veta just detta? Ska den produkt du vill utveckla användas på morgonen? Vilka hundägare och vilken ort? Tror du verkligen att valet av ort kommer göra någon skillnad på hur hundägare promenerar? Och kommer detta påverka din produktutveckling?

Var kritisk mot din egen kreativitet. Sätt upp en graf och prova. Många gånger är det så att både axlar och slutsatser blir helt omöjliga att visualisera. Att ha mycket data är både tröttsamt och svåranalyserat. Och är den fel strukturerad kan du plötsligt inte sätta upp den i det diagram du tänkt dig.

Har du graferna färdiga och klara när du ska designa undersökningsfrågorna så blir slutsatserna bättre. Ofta får du justera längs vägen. Ofta kan du utesluta frågor och faktorer som du trodde skulle ge ett utslag.

Fallgrop nr 3: att övertolka tendenser
Ett av de absolut vanligaste misstagen vi dessvärre ser mycket av både i media och hos företag är total övertolkning av en liten differens. Du formar en lite för stark teori om hur det är. Du tror verkligen på detta så mycket att du ser det i statistiken, de ser det eftersökta mönstret. Men tänk om det faktiskt är så att det inte stämmer?

Ett exempel: ”Kvinnor tycker mer om hallonglass än män”. I själva verket hade vi 43 procent män som valde hallonglass och 57 procent kvinnor. Det faller inom den statistiska felmarginalen.

Visst, fler kvinnor tycker om hallonglass. Men skillnaden här är inte särskilt stor. Har du läst statistik så finns ett begrepp vi kallar statistisk signifikans. Ibland är skillnaderna så små att det inte är signifikant. Jag vet att det är svårt att säga att det inte är någon skillnad när du så gärna vill påstå att kvinnor gillar hallonglass mer. Men säljmässigt kan det bli oerhört knasigt att endast vända sig till kvinnor i detta fall. Så håll ögonen på viljan att övertolka svaren. Tänk att du måste hålla ordning på dig själv och en helt mänsklig tendens – att vara subjektiv.

Fallgrop nr 4: Du är för objektiv – för sammanhanget
Det motsatta problemet har jag sett hos många som är statistiskt begåvade. De är så försiktiga att de inte vågar vända och vrida på materialet. Vad är det som ska göras? Det finns faktiskt situationer där det är bra att våga dra lite annorlunda slutsatser. Exempelvis i kreativa processer eller produktutveckling har jag god erfarenhet av att våga ta ut tolkningssvängarna lite – om du först gjort din grundläggande analys av data.

Fallgrop nr 5: Övertro på tekniken
Jag tycker inte att de nya möjligheterna med datatrackning och AI handlar om att skaffa sig mer information. Snarare handlar de om att sålla för att få rätt information.

Många säger att det är svårare att nå ut idag. Jag skulle snarare säga att det är tvärtom. AI ger oss möjlighet att kapa brus och direkt nå den målgrupp vi vill, till en mycket lägre kostnad. Men den stora polarisering vi ser i världen idag kanske visar att vi kapat bruset lite för mycket. Vi lever i små separata silos och ser bara det vi gillar att se. Kan vi då inte tolka data på ett korrekt sätt är det alltför enkelt att få en felaktig bild förstärkt.

Vi har möjlighet att tracka var de är och när och vad de gillar. Möjligheten att prioritera är kraftigare och vi kan snabbt nå fram till slutresultatet. Och det är bra. Men också lite stelbent. På grund av ovanstående faktorer kring beslutsfattande undrar jag hur mycket maskiner kan förstå våra emotionella processer? Vill vi bli bevakade? Jag kan nog tycka att den mänskliga hjärnan med sin emotionella ansats är både unik och oslagbar.

Men för att följa mina egna råd – jag kan ha fel….