Kan man måle dataetik?

I forlængelse af indlægget om målepunkter for privacy, er det et oplagt spørgsmål, hvordan man som organisation udstrækker sin forståelse af hvor godt man klarer sig, og hvordan man kan forbedre sig, til også at omfatte dataetik.

Siden 2021 har loven tilsagt, at alle større danske virksomheder skal redegøre for deres dataetiske politik. Loven giver udstrakt grad af frihed ift. udformningen af de konkrete politikker, og der stilles ingen krav om at der måles på om eller hvordan de bruges, eller på anden måde følges op på implementeringen.

Reelt er loven således bare et krav om at virksomheder skal kunne fremvise et dokument, der på en eller anden måde siger noget om dataetik. Og det vil være rimeligt at antage, at mange virksomheder har løst opgaven på nemmest mulige måde: De har lavet en politik, lagt den hjemmesiden og glemt alt om den.

Men hvis man nu er en virksomhed, der gerne vil arbejde seriøst med dataetik, er dette naturligvis utilfredsstillende.

I denne korte, men indsigtsfulde artikel beskriver Chris Wiggins hvordan man kan måle direkte på sin dataetiske indsats, men nok så vigtigt hvordan organisationer løbende bør justere deres øvrige (fx kommercielle, tekniske) målepunkter til at være i overensstemmelse med deres dataetiske principper.

Part of this monitoring will not be quantitative. Particularly since we can not know in advance every phenomenon users will experience, we can not know in advance what metrics will quantify these phenomena. To that end, data scientists and machine learning engineers must partner with or learn the skills of user experience research, giving users a voice. This can mean qualitative surveys, interviews, or other means of gathering data from users

Chris Wiggins

Så i forsøget på at forstå om vi handler dataetisk, må vi altså først og fremmest indstille os på, at vi bliver nødt til at spørge folk (dvs. medarbejdere, kunder og partnere) om deres subjektive holdning. Der er mange måder at måle på folks oplevelse af tillid til en organisation, så her er det vigtigt at man vælger sin metodik og målgrupper med omhu.

Dertil kommer muligheden for at måle på de kvantitative, transaktionelle data, en organisation producerer, når den dataetiske politik faktisk anvendes: Hvornår er den dataetiske politik sidst opdateret? Har man en dataetisk komité eller lignende? Hvor mange gange har en sådan komité mødtes? Hvor mange sager har den behandlet? Eller, hvis der ikke er en decideret komité: Hvor ofte har virksomheden truffet beslutninger på grundlag af den dataetiske politik?

Hvis man ikke har eller kan skaffe nogle transaktionelle data af ovenstående type, er det måske værd at overveje, om man bør justere sine dataetiske principper.

Your KPIs can’t conflict with your principles if you don’t have principles

Chris Wiggins

Og slutteligt kan man måle på hvor ofte man justerer øvrige målepunkter og KPI’er med henvisning til dataetiske principper. Målingen af dette kræver at man har succes med at engagere hele organisationen i arbejdet med dataetik, hvilket kan være en udfordring i sig selv, med mindre organisationen har meget høj modenhed i implementeringen af privacy og dataetik.

Det sandfærdige svar på overskriftens spørgsmål er jo nok, at det kan man ikke, entydigt. Men større organisationer kan – og bør – måle på i hvilken udstrækning de arbejder dataetisk, og om der er tillid det arbejde blandt medarbejdere, kunder og samarbejdspartnere.

100%. Ingen højere?

Det er vigtigt at måle. Det er indlysende, at det for enhver organisation er vigtigt på en eller anden måde at måle på effektiviteten af de tiltag, man gør, for at skabe grundlag for at drive forbedringer.

Men det er helt afgørende hvad og hvordan man måler. Bare spørg i de offentlige servicefag eller i et callcenter, hvordan forkerte målepunkter kan drive uønsket adfærd hos ansatte og/eller give misvisende resultater.

Ofte er det balancen i målene, den er gal med. Man måler fx på hvor mange kundeopkald i timen en kundeservicemedarbejder ekspederer, eller hvor mange minutter, en sosu-assistent bruger med en borger. Men hvis man kun måler på throughput og transaktioner, og glemmer også at måle på fx oplevet kvalitet/indhold/resultat, så får man …

  1. skabt incitament hos medarbejderne til at maksimere antallet af transaktioner, men intet incitament til at sikre kvaliteten af den enkelte transaktion og
  2. mål, som reelt ikke siger noget om hvordan organisationen performer, og som derfor i praksis ikke kan bruges som grundlag for forbedringer (forudsat naturligvis, at man i realiteten har andre mål end høj transaktionsvolumen – hvilket gælder for næsten alle organisationer).

Ovenstående gælder ikke i mindre grad for privacy.

Og hvordan måler man så relevant og – ikke mindst – balanceret på en organisations performance på privacy-området?

Mange store danske virksomheder (ingen nævnt, ingen glemt) rapporterer om status på deres privacy-programmer ved at måle på andelen af medarbejdere, der har gennemført træning i privacy / datasikkerhed / GDPR / dataetik.

Ligeså indlysende det er, at dette ikke er et dårligt målepunkt, ligeså klart er det, at det ikke kan stå alene. Hvem ved hvilket udbytte medarbejderne har fået af deres træning? Hvilken type træning er der overhovedet tale om? Hvis man gerne ville maksimere dette ene målepunkt, kunne man jo blot gøre træningen nemmere og kortere. Det ville helt sikkert øge antallet af medarbejdere, der gennemførte træningen, men ville en højere deltagelsesprocent på den baggrund sige noget om kvaliteten af organisationens privacy-arbejde? Nej. Tværtimod, endda.

Men hvis man nu kombinerede dette mål med andre mål, som fx …

  • antallet af anmodninger om indsigt fra kunder og medarbejdere
  • gennemsnitssvartid på anmodninger om indsigt
  • antal databrud rapporteret til myndighederne
  • antal klager vedr. databeskyttelse registreret hos myndighederne
  • antallet af gennemførte PIA’er og DPIA’er
  • gennemsnitsalderen på privacy-politikker
  • antallet af processer beskrevet i Records of Processing Activities
  • andelen af IT assets med fuldstændige og opdaterede privacy-beskrivelser (fx slettepolitikker, kryptering, persondatatyper, etc.)
  • antallet/resultatet af interne og eksterne audits
  • antallet af indgåede databehandleraftaler med kunder/leverandører
  • antallet af underdatabehandlere (og deres underdatabehandlere etc.) som man som dataansvarlig har registreret og fører tilsyn med

… så ville man faktisk kunne sige noget kvalificeret om, hvor kompetent og med hvilket modenhedsniveau organisationen håndterede privacy.

Udfordringen ved at inddrage andre og mere meningstunge målepunkter er, at mange organisationer stadig vægrer sig ved at måle på noget, der kan udlægges som at være et mål for graden af compliance. I mange organisationer er det endnu sådan, at compliance opfattes som noget binært, noget man har eller ikke har. Og i sådanne tilfælde går man erfaringsmæssigt langt for at undgå, at konkrete målepunkter og konkrete resultater kan udlægges som om, at man ikke er 100% compliant.

Dette er naturligvis en vildfarelse. Min påstand er, at ingen danske organisationer af en vis størrelse, private eller offentlige, med rimelighed kan påstå 100% compliance med al relevant databeskyttelseslovgivning, herunder GDPR. Alle forsøger, med varierende grad af alvor og oprigtighed, at leve op til reglerne, men ingen kan påstå at de ikke kan blive bedre. Og selv hvis man forestillede sig en organisation, der var maksimalt compliant, ville der alligevel være plads til forbedring på fx dataetikken.

Det fromme håb herfra er derfor, at flere organisationer i fremtiden får mod og indsigt nok til at måle meningsfyldt og balanceret på deres privacy-performance.