Una donna del Tennessee non ha mai messo piede nel Dakota del Nord. Eppure, la polizia del Dakota del Nord l’ha arrestata per crimini commessi lì. Qual è la differenza? Un sistema di riconoscimento facciale AI che ha identificato con certezza la persona sbagliata.
Questa non è una situazione ipotetica da un seminario sull’etica tecnologica. È successo, ed è esattamente il tipo di problema di cui ho avvertito mentre esaminavo strumenti AI che promettono un’accuratezza che non possono garantire.
I fatti sono schiaccianti
La polizia di Fargo ha utilizzato la tecnologia di riconoscimento facciale per identificare un sospetto in un caso di frode. Il sistema ha abbinato il sospetto a una donna del Tennessee che insiste di non essere mai stata nel Dakota del Nord. È stata arrestata, incarcerata e costretta a dimostrare la sua innocenza. Il capo della polizia di Fargo si è scusato nel frattempo per ciò che stanno definendo “errori” nell’arresto assistito dall’AI.
Facciamo chiarezza su cosa significa qui “errori”: una nonna è stata messa in carcere perché un algoritmo ha fatto un’ipotesi e gli esseri umani hanno trattato quell’ipotesi come se fosse verità assoluta.
Perché questo continua a succedere
Ho testato dozzine di strumenti AI che affermano di avere un’accuratezza quasi perfetta. I materiali di marketing sono sempre impressionanti. La realtà? Questi sistemi falliscono più spesso di quanto i fornitori ammettano, e falliscono in modi che danneggiano in modo sproporzionato gruppi specifici di persone.
La tecnologia di riconoscimento facciale presenta problemi di accuratezza documentati, specialmente con donne e persone di colore. Studio dopo studio conferma questo. Eppure, i dipartimenti di polizia continuano a utilizzare questi sistemi come se fossero rilevatori di bugie infallibili.
Il problema non è solo nelle limitazioni tecniche. È nel modo in cui vengono utilizzati questi strumenti. Un sistema AI dovrebbe essere un punto dati tra molti. Invece, diventa la prova primaria che avvia un’indagine, ottiene un mandato e mette qualcuno in manette.
Il fattore umano rende tutto peggiore
Quando un sistema AI segnala un abbinamento, crea un bias di conferma. Gli agenti iniziano a cercare prove che supportino la conclusione dell’AI piuttosto che mettere in discussione se l’AI possa essere in errore. La tecnologia dà loro una sensazione di certezza che non è giustificata dai tassi di accuratezza effettivi.
Questa donna del Tennessee ha dovuto dimostrare di non essere nel Dakota del Nord. Riflettiamo su questo onere. Come si prova un negativo? Come si dimostra di non essere stati da qualche parte quando sei già in carcere e il sistema assume che tu sia colpevole?
Cosa i fornitori di strumenti AI non ti diranno
Recensisco prodotti AI per lavoro e posso dirti cosa manca nei discorsi di vendita. Ogni fornitore di riconoscimento facciale ti mostrerà le sue metriche di accuratezza in condizioni ideali. Non ti mostreranno i tassi di fallimento in scenari reali con scarsa illuminazione, angoli strani o soggetti che non corrispondono ai dati demografici del loro addestramento.
Parleranno della loro tecnologia come “all’avanguardia” senza menzionare che “all’avanguardia” significa comunque sbagliare abbastanza frequentemente da rovinare vite. Sottolineeranno i casi in cui il sistema funziona senza soffermarsi sui casi in cui fallisce in modo catastrofico.
Questo non è un episodio isolato
Questa donna del Tennessee non è la prima persona arrestata erroneamente a causa del riconoscimento facciale, e non sarà l’ultima. Casi simili sono emersi in Michigan, New Jersey e altri stati. Ogni volta, i funzionari esprimono sorpresa e promettono di rivedere le loro procedure. Poi un altro dipartimento commette lo stesso errore.
Il modello è chiaro: implementa la tecnologia prima, affronta le conseguenze dopo, scusati quando la vita di qualcuno viene distrutta, ripeti.
Cosa deve cambiare
I dipartimenti di polizia devono trattare il riconoscimento facciale AI per quello che è: uno strumento per generare spunti, non una prova. Un abbinamento dovrebbe innescare un’ulteriore indagine, non un arresto. Gli agenti hanno bisogno di formazione sulle limitazioni e sui modi di fallimento di questi sistemi. E ci devono essere conseguenze quando i dipartimenti trattano i suggerimenti algoritmici come prova definitiva.
I fornitori devono essere onesti sui tassi di accuratezza nelle condizioni del mondo reale, non solo in laboratorio. Devono divulgare le disparità di prestazione demografica. E devono smettere di pubblicizzare questi strumenti come se fossero infallibili.
Inoltre, abbiamo bisogno di quadri legali che riconoscano le prove generate dall’AI per quello che sono: probabilistiche, soggette a errore e insufficienti da sole per privare qualcuno della propria libertà.
Il vero costo
Una nonna del Tennessee ha trascorso del tempo in prigione per crimini che non ha commesso in uno stato che non ha mai visitato. Questo non è un malfunzionamento tecnico o un caso sfortunato. È un fallimento fondamentale di come stiamo implementando l’AI in situazioni ad alto rischio.
Ogni strumento AI che recensisco viene valutato in base a se fa ciò che promette. I sistemi di riconoscimento facciale affermano di identificare le persone con precisione. Quando falliscono, il costo non è un’esperienza utente negativa o denaro sprecato. È la libertà, la reputazione e il senso di sicurezza di qualcuno.
Il capo della polizia di Fargo si è scusato. Questo non restituisce a questa donna il tempo trascorso in prigione né cancella il trauma di essere stata arrestata per crimini che non ha commesso. Le scuse non risolvono i sistemi rotti. Standard migliori, responsabilità e una valutazione onesta delle limitazioni dell’AI potrebbero farlo.
🕒 Published: