GPT-4o Mini: nuovo modello con aggiornamento delle prestazioni e prezzi vantaggiosi

I benchmark di IA sono utilizzati per valutare le prestazioni e le capacità dei modelli di IA. In occasione dell'annuncio del nuovo modello linguistico GPT-4o Mini, OpenAI ha caricato sul proprio sito web un grafico relativo ai benchmark di IA.

Questo grafico mostra un punteggio in percentuale per ogni benchmark. Il punteggio fornisce informazioni sulla precisione con cui i modelli linguistici eseguono i compiti di specifiche aree di prestazione.

Il confronto OpenAI comprende GPT-3.5 Turbo, GPT-4o Mini, Google Gemini 1.5 Flash e Claude 3 Haiku. Prima di elencare e analizzare i grafici, spiegheremo il significato dei benchmark AI per una comprensione completa:

• MMLU (Massive Multitask Language Understanding): Si tratta di uno dei benchmark più importanti, in quanto valuta le conoscenze generali e le capacità di risoluzione dei problemi. L'MMLU copre diverse aree tematiche, dalle scienze naturali alla cultura e all'intrattenimento.
• GPQA: si tratta di un insieme di centinaia di domande a scelta multipla create da Google. Le domande sono di livello universitario e mettono a dura prova l'intelligenza artificiale. Più l'intelligenza artificiale si comporta bene, più è in grado di rispondere correttamente a domande particolarmente difficili e specifiche.
• DROP: questo parametro di AI è meno importante nelle procedure di valutazione. Viene utilizzato per verificare se un modello linguistico è in grado di comprendere un contenuto lungo diversi paragrafi e di trarre conclusioni corrette.
• MGSM (Matematica multilingue per la scuola primaria): Il livello matematico di questo test di benchmark dell'intelligenza artificiale è basso, ma il test è comunque utile. I compiti sono impostati in diverse lingue, in modo da poter testare la capacità dell'IA di comprendere ed elaborare compiti numerici in diverse lingue.
• Matematica: questo test è progettato per verificare le capacità matematiche e logiche di un modello linguistico. È di fatto un test di matematica generale.
• Human Eval: questo benchmark AI analizza la capacità dei modelli di linguaggio di generare codici di programmazione. Il modello di intelligenza artificiale deve risolvere oltre 100 compiti di programmazione come parte del test. La funzionalità del codice viene verificata dal software.
• MMMU (Massive Multi-Discipline Multimodal Understanding and Reasoning): Questo benchmark di IA è stato progettato specificamente per i modelli linguistici multimodali ed è quindi rilevante per il modello GPT-4o Mini. I modelli di IA sono sottoposti a una verifica dettagliata delle loro capacità multidisciplinari a livello universitario.
• MathVista: questa metrica può essere utilizzata per analizzare e valutare le capacità matematiche dei modelli di IA in contesti visivi. Un esempio è la capacità di un'IA di analizzare grafici matematici e di trarne le giuste conclusioni.

Il grafico seguente mostra che il modello GPT-3.5 Turbo era inferiore ai concorrenti Google Gemini 1.5 Flash e Claude 3 Haiku nei benchmark AI MMLU, GPQA, DROP, MGSM e Human Eval, ma costava molto di più agli sviluppatori. GTP-3.5 Turbo non ha potuto essere analizzato nei benchmark di intelligenza artificiale MMMU e MathVista, poiché il modello di linguaggio dell'intelligenza artificiale non disponeva delle capacità corrispondenti. GPT-3.5 Turbo era quindi chiaramente inferiore ai suoi concorrenti in termini di benchmark AI.