India: l’intelligenza artificiale dichiara morte decine di migliaia di persone cancellandole dagli aiuti sociali

L’impiego della tecnologia di intelligenza artificiale (AI) da parte delle aziende in Occidente ha fatto temere una perdita di posti di lavoro su larga scala.  Però l’applicazione nella pubblica amministrazione, sopratutto locale, può portare a dei problemi ben peggiori, come è avvenuto in India, dove migliaia di persone sono state dichiarate morte dalla AI e è stato loro negata l’assistenza alimentare di base, con risultati da un lato comici e dall’altro tragici.

In India lo stato usa già la AI su larga scala, soprattutto per valutare i dati, incrociarli ed evitare le frodi nei servizi sociali, anche dal punto di vista degli aiuti alimentari. Delhi gestisce uno dei più grandi programmi di sicurezza alimentare al mondo che sfama circa il 60% della popolazione. Da quando è scoppiata la pandemia COVID-19, il governo nazionale ha fornito gratuitamente a 800 milioni di persone ogni mese 5 kg di riso, grano e cereali a testa come aiuto secondario alimentare.

In precedenza, le famiglie al di sotto di un certo livello economico potevano ricevere cereali a un prezzo sovvenzionato di una rupia (meno di un centesimo) per due libbre (un chilogrammo) di riso rispetto al prezzo di mercato di 40 rupie (48 centesimi). Lo stato gestisce anche programmi di pensione mensile per gli anziani o le vedove senza reddito, fornendo loro un’assistenza finanziaria mensile fino a 2.750 rupie (33 dollari). Quindi, in  generale, diciamo che l’India ha programmi di aiuto alimentare estesi e molto importanti, soprattutto per le fasce più povere dello stato.

Dare spazio agli algoritmi

In passato, i funzionari governativi avevano il compito di identificare e approvare i beneficiari di questi programmi. Ciò comportava la verifica fisica dei documenti e visite sul campo.

Negli ultimi anni, tuttavia, sono stati introdotti degli algoritmi che hanno il compito di identificare gli individui che potrebbero richiedere fraudolentemente i benefici. Nello stato meridionale di Telangana, ad esempio, i funzionari governativi hanno ricevuto un algoritmo che ha creato profili completi di persone raccogliendo dati da ben 30 database.

È interessante notare che il sistema era stato inizialmente progettato per aiutare la polizia regionale a identificare i criminali, ma è stato poi sviluppato per identificare i richiedenti fraudolenti. Sulla base delle informazioni raccolte da più database, ben 1,9 milioni di carte di credito sono state rimosse dall’elenco dei beneficiari. Una nuova analisi di oltre 200.000 carte da parte del governo ha rivelato che 15.000 (circa il sette per cento) sono state rimosse in modo errato, secondo un rapporto di Al-Jazeera. Quindi solo su questo campione lla AI ha cancellato 15 mila posizioni di persone che però sono reali.

La kafkiana dimostrazione dell’essere vivo

Nel giugno 2020, lo stato settentrionale dell’Haryana ha iniziato a utilizzare un nuovo sistema algoritmico per raccogliere informazioni sulle famiglie che richiedono prestazioni sociali. In base ai dati raccolti su reddito, età, occupazione e così via, a ogni famiglia viene assegnato un ID univoco di otto cifre, reso poi obbligatorio per tutti i programmi di welfare.

Secondo i dati del governo statale, nei tre anni successivi oltre 300.000 pensioni sono state bloccate perché i richiedenti erano “morti”. L’anno scorso, il Primo Ministro ha ammesso che su un campione più ristretto di 66.000 pensioni bloccate, 44.000 (il 70%) si sono rivelate essere state segnalate in modo errato.

Profilare gli individui in questo modo non è tecnicamente illegale, poiché in India non esistono leggi sulla privacy. Inoltre, in caso di omissione errata, l’onere di provarla spetta al beneficiario. L’anno scorso, secondo un altro reportage di Al Jazeera, un residente di 102 anni ha organizzato una processione in stile matrimonio per dimostrare ai funzionari di essere vivo.

Il ripristino dello status di “vivo” in un database può richiedere mesi o addirittura anni, durante i quali i richiedenti perdono l’accesso alle prestazioni sociali. Sebbene gli algoritmi abbiano aiutato a eliminare i falsi beneficiari dai sistemi, hanno commesso errori ben oltre i limiti consentiti. L’impatto di questi errori si ripercuote sulle fasce più povere e deboli della società che necessitano di maggiori aiuti finanziari o di accesso a cereali sovvenzionati.

La morale dell’esperimento indiano

La morale di quanto successo è semplice: affidarsi a soli algoritmi e all’analisi dei dati tramite AI è pericoloso e può portare a degli abusi francamente intollerabili per quanto riguarda gli aiuti sociali, ma anche dal punto di vista sociale. Bisogna ricordare che la AI e i computer dovrebbero essere al servizzio dell’uomo, e non viceversa.