Da social media e smartphone, la sfida dei dati non tradizionali

Dare forma a quel che forma non ha: è la sfida quasi impossibile della statistica ufficiale alle prese con i cosiddetti dati ‘da fonti non tradizionali’, ad esempio il grande mare caotico di informazioni di ogni tipo prodotte ogni istante da social media o smartphone. A parlare di questa sfida e di come affrontarla con gli strumenti dell’intelligenza artificiale è Orietta Luzi, direttrice centrale per la Metodologia e il disegno dei processi statistici dell’Istat in occasione della  Conferenza Nazionale di Statistica.

“Le fonti non tradizionali le possiamo definire come tutte quelle fonti che non sono progettate per rispondere a esigenze conoscitive, non basate su precise classificazioni, ma che cerchiamo di usare perché possiamo estrarne alcune informazioni importanti”, dice all’ANSA Luzi. Ma si tratta di una sfida enorme perché la differenza tra le fonti tradizionali e quelle non tradizionali la si può immaginare come la differenza fra realizzare una costruzione partendo da un kit, ossia con pezzi ordinati e un manuale di istruzioni, e partire invece da un’enorme vasca piena di mattoncini di ogni forma e colore. Con la trasformazione di digitale si è aperto un mondo completamente nuovo di possibili dati, da social, smartphone o anche satelliti. Enormi volumi di dati ma con il problema di essere caotici, ossia non strutturati, e non sempre affidabili.

“I dati che fornisce l'Istat – ha aggiunto Luzi – sono quelli ufficiali, su cui poi vengono prese le decisioni da un governo, devono essere credibili e certificati. Criteri difficili da estendere sui dati da fonti non tradizionali, ci stiamo lavorando ma occorre essere cauti”.

Un aiuto fondamentale arriva dall’IA su due fronti: nell’acquisizione, ad esempio con metodi che permettano di usare dati acquisiti dalle aziende di telefonia degli utenti mantenendone il totale anonimato oppure nella produzione di dati sintetici, ossia generati ma perfettamente analoghi a dati reali, oppure nel trattamento, ad esempio l’interpretazione di testi, come fanno i modelli linguistici simili a ChatGpt. “Per questo – ha concluso Luzi – in molti casi siamo ancora in una fase di sperimentazione, occorre ad esempio anche definire metodi condivisi a livello europeo, ma l’IA sta trasformando anche il nostro settore”.