Kako piše Guardian, stručnjaci već dugo upozoravaju na ograničenja automatiziranih sustava za otkrivanje slika seksualnog zlostavljanja djece, posebno jer se kompanije suočavaju s regulatornim i javnim pritiskom da pomognu u rješavanju ovog problema.
“Te kompanije imaju pristup strahovito invazivnoj količini podataka o životima ljudi. I dalje nemaju kontekst onoga što životi ljudi zapravo jesu”, rekao je Daniel Kahn Gillmor, viši tehnolog pri ACLU-u.
Dodao je da korištenje ovih sustava od strane tehnoloških kompanija koje ‘djeluju kao posrednici’ za provođenje zakona dovodi ljude u opasnost da ih ‘počisti moć države’.
Muškarac, kojeg je New York Times identificirao samo kao Marka, snimio je slike prepona svog sina kako bi ih poslao doktoru nakon što je shvatio da dječak ima upalu. Liječnik je pomoću te slike postavio dijagnozu Markovom sinu i propisao antibiotike. Kad su fotografije automatski prenesene u cloud, Googleov sustav identificirao ih je kao CSAM – Child Sexual Abusive Material.
Dva dana kasnije, Markov Gmail i drugi Google računi, uključujući Google Fi, koji pruža njegovu telefonsku uslugu, bili su onemogućeni zbog ‘štetnog sadržaja’ koji je bio ‘ozbiljno kršenje pravila kompanije i mogao bi biti nezakonit’, izvijestio je Times, citirajući poruku na njegovom telefonu.
Kasnije je saznao da je Google označio još jedan video koji je imao na svom telefonu i da je policija San Francisca pokrenula istragu protiv njega. Mark je oslobođen svih kaznenih djela, ali Google je rekao da će ostati pri svojoj odluci.
“Slijedimo zakon SAD-a u definiranju onoga što čini CSAM kako bismo ga identificirali i uklonili s naših platformi”, rekla je Christa Muldoon, glasnogovornica Googlea.
Muldoon je dodala da je Googleovo osoblje koje pregledava CSAM obučeno od strane medicinskih stručnjaka da traže osipe ili druge probleme. Oni sami, međutim, nisu bili medicinski vještaci i medicinski vještaci nisu bili konzultirani prilikom pregleda svakog slučaja, rekla je.