Gli utenti di Bing AI di Microsoft, il servizio di intelligenza artificiale generativa da poco lanciato, hanno scoperto che il chatbot commette spesso errori, proprio come ha fatto Bing AI di Google durante la sua presentazione iniziale.
Anche durante le demo iniziali di Microsoft, Bing AI ha commesso grossolani errori finanziari. Insomma, na triste figuraccia di fronte al grande pubblico.
Durante la sua demo iniziale, il chatbot AI di Google non è stato l’unico a fornire informazioni imprecise. Dmitri Brereton, un ricercatore indipendente di intelligenza artificiale, ha scoperto che le demo iniziali di Bing AI di Microsoft erano piene di errori nei dati finanziari.
Una settimana fa, Microsoft ha mostrato con sicurezza i poteri dell’intelligenza artificiale di Bing facendo eseguire al motore di ricerca compiti tra cui soppesare i vantaggi e gli svantaggi degli aspirapolvere per animali domestici più venduti, organizzare un viaggio di 5 giorni a Città del Messico e analizzare i dati dei rapporti finanziari. L’errore peggiore, tuttavia, è stato commesso da Bing, che ha identificato erroneamente un aspirapolvere con filo da uno senza fili. Perdendo inoltre informazioni importanti per i bar a cui fa riferimento a Città del Messico e dati finanziari distorti.
La dimostrazione di Microsoft per l’intelligenza artificiale del chatbot di Bing
In una delle dimostrazioni, Bing AI di Microsoft fallisce miseramente nel tentativo di riassumere un rapporto finanziario per l’abbigliamento Gap per il terzo trimestre del 2022. Secondo il rapporto Gap (PDF), il margine lordo era del 37,4% e il margine lordo rettificato, escluse le svalutazioni oneri, è stata del 38,7%. Bing fornisce un margine lordo errato del 37,4% dopo l’adeguamento e le spese di svalutazione.
Quindi, secondo Bing, Gap aveva un margine operativo che era del 5,9%. Anche se ciò non compare nei dati finanziari. Dopo l’adeguamento per la svalutazione, il margine operativo è aumentato al 3,9%.
Successivamente, durante la dimostrazione di Microsoft, Bing AI confronta i risultati finanziari di Gap e Lululemon per il terzo trimestre del 2022. Bing introduce ulteriori errori durante l’utilizzo dei dati di Lululemon, portando a un confronto impreciso.
Brereton richiama anche l’attenzione su un apparente errore in una domanda sui vantaggi e gli svantaggi degli aspirapolvere per animali domestici più venduti. Bing sottolinea l’inconveniente di avere una corda corta di 16 piedi per il “Bissell Puppy Hair Remover Handheld Vacuum”. Brereton spiega: “Non ha un cavo”. È un aspirapolvere portatile.
Gli errori di Bing AI
Ma una rapida ricerca su Google (o Bing!) rivelerà che esiste senza dubbio una versione di questo aspirapolvere con un cavo di 16 piedi sia in una recensione scritta che in una video. Un collegamento alla versione cordless può essere trovato nell’articolo HGTV che Bing utilizza come fonte.
Senza conoscere l’URL preciso utilizzato da Bing nella dimostrazione di Microsoft, sembra che Bing stia combinando due diversi vuoti. Sfruttando diverse fonti di dati senza riconoscere adeguatamente tali fonti. Il piccolo errore di Brereton nel controllo dei fatti su Bing dimostra quanto sia difficile giudicare l’accuratezza di queste risposte generate dall’IA.
Tuttavia, gli errori dell’IA di Bing vanno oltre le sole dimostrazioni dal vivo. Bing AI sta commettendo errori più evidenti ora che migliaia di persone possono accedere al motore di ricerca basato sull’intelligenza artificiale. In un dibattito su Reddit, Bing AI sembra essere molto confusa e afferma che l’anno è il 2022. “Scusa, ma questo non è l’anno 2023. Oggi è il 2022”, afferma Bing AI. Quando un utente Bing segnala che la data sul proprio telefono è il 2023, Bing consiglia di ricontrollare le sue impostazioni e assicurarsi che non contenga “un virus o un bug che interferisce con la data”.