OpenAI rilascia aggiornamenti per l'inferenza in tempo reale su audio, visione e testo

Secondo Cointelegraph, OpenAI ha apportato quattro aggiornamenti ai suoi modelli in ottobre per aiutare i suoi modelli di intelligenza artificiale a condurre meglio le conversazioni e migliorare il riconoscimento delle immagini. Il primo grande aggiornamento è un'API in tempo reale che consente agli sviluppatori di creare app di sintesi vocale generate dall'IA utilizzando un singolo prompt, permettendo conversazioni naturali simili ai modelli avanzati di ChatGPT. In precedenza, gli sviluppatori dovevano "assemblare" più modelli per creare queste esperienze. L'input audio di solito deve essere completamente caricato e elaborato prima di ricevere una risposta, il che significa che le applicazioni in tempo reale come le conversazioni da voce a discorso hanno un'elevata latenza. Con le capacità di streaming dell'API Realtime, gli sviluppatori possono ora realizzare interazioni istantanee e naturali, proprio come un assistente vocale. Funzionando su GPT-4, che sarà rilasciato a maggio 2024, l'API consente l'inferenza in tempo reale su audio, visione e testo. Un altro aggiornamento include strumenti di messa a punto per gli sviluppatori che consentono loro di migliorare le risposte dell'IA generate da input di immagini e testo. Il messa a punto basato su immagini consente all'IA di comprendere meglio le immagini, portando a una ricerca visiva e a un rilevamento degli oggetti migliorati. Il processo include feedback da parte di esseri umani che forniscono esempi di buone e cattive risposte per l'addestramento. Oltre agli aggiornamenti su voce e visione, OpenAI ha introdotto la "distillazione del modello" e la "memorizzazione nella cache dei suggerimenti", che consentono a modelli più piccoli di apprendere da quelli più grandi e ridurre i costi e i tempi di sviluppo riutilizzando il testo elaborato. OpenAI prevede che i ricavi aumenteranno a 11,6 miliardi di dollari l'anno prossimo, rispetto ai 3,7 miliardi di dollari previsti nel 2024, secondo Reuters.