Kan man måle dataetik?

I forlængelse af indlægget om målepunkter for privacy, er det et oplagt spørgsmål, hvordan man som organisation udstrækker sin forståelse af hvor godt man klarer sig, og hvordan man kan forbedre sig, til også at omfatte dataetik.

Siden 2021 har loven tilsagt, at alle større danske virksomheder skal redegøre for deres dataetiske politik. Loven giver udstrakt grad af frihed ift. udformningen af de konkrete politikker, og der stilles ingen krav om at der måles på om eller hvordan de bruges, eller på anden måde følges op på implementeringen.

Reelt er loven således bare et krav om at virksomheder skal kunne fremvise et dokument, der på en eller anden måde siger noget om dataetik. Og det vil være rimeligt at antage, at mange virksomheder har løst opgaven på nemmest mulige måde: De har lavet en politik, lagt den hjemmesiden og glemt alt om den.

Men hvis man nu er en virksomhed, der gerne vil arbejde seriøst med dataetik, er dette naturligvis utilfredsstillende.

I denne korte, men indsigtsfulde artikel beskriver Chris Wiggins hvordan man kan måle direkte på sin dataetiske indsats, men nok så vigtigt hvordan organisationer løbende bør justere deres øvrige (fx kommercielle, tekniske) målepunkter til at være i overensstemmelse med deres dataetiske principper.

Part of this monitoring will not be quantitative. Particularly since we can not know in advance every phenomenon users will experience, we can not know in advance what metrics will quantify these phenomena. To that end, data scientists and machine learning engineers must partner with or learn the skills of user experience research, giving users a voice. This can mean qualitative surveys, interviews, or other means of gathering data from users

Chris Wiggins

Så i forsøget på at forstå om vi handler dataetisk, må vi altså først og fremmest indstille os på, at vi bliver nødt til at spørge folk (dvs. medarbejdere, kunder og partnere) om deres subjektive holdning. Der er mange måder at måle på folks oplevelse af tillid til en organisation, så her er det vigtigt at man vælger sin metodik og målgrupper med omhu.

Dertil kommer muligheden for at måle på de kvantitative, transaktionelle data, en organisation producerer, når den dataetiske politik faktisk anvendes: Hvornår er den dataetiske politik sidst opdateret? Har man en dataetisk komité eller lignende? Hvor mange gange har en sådan komité mødtes? Hvor mange sager har den behandlet? Eller, hvis der ikke er en decideret komité: Hvor ofte har virksomheden truffet beslutninger på grundlag af den dataetiske politik?

Hvis man ikke har eller kan skaffe nogle transaktionelle data af ovenstående type, er det måske værd at overveje, om man bør justere sine dataetiske principper.

Your KPIs can’t conflict with your principles if you don’t have principles

Chris Wiggins

Og slutteligt kan man måle på hvor ofte man justerer øvrige målepunkter og KPI’er med henvisning til dataetiske principper. Målingen af dette kræver at man har succes med at engagere hele organisationen i arbejdet med dataetik, hvilket kan være en udfordring i sig selv, med mindre organisationen har meget høj modenhed i implementeringen af privacy og dataetik.

Det sandfærdige svar på overskriftens spørgsmål er jo nok, at det kan man ikke, entydigt. Men større organisationer kan – og bør – måle på i hvilken udstrækning de arbejder dataetisk, og om der er tillid det arbejde blandt medarbejdere, kunder og samarbejdspartnere.