Gemini AI di Google è arrivato, ma è meglio di ChatGPT?

Collegamenti rapidi

Punti chiave

  • Il modello di intelligenza artificiale di Google Gemini è disponibile in tre varianti: Ultra, Pro e Nano, ognuna incentrata su compiti e livelli di complessità diversi.
  • Gemini Ultra mostra risultati promettenti nei principali benchmark AI, ma, a dicembre 2023, non è disponibile per l'uso pubblico. Google afferma che dovrebbe essere disponibile a gennaio 2024.
  • Gemini Pro è disponibile e, nonostante funzioni abbastanza bene, al momento non riesce a spodestare GPT-4.

Google ha sempre promesso che il suo modello Gemini AI sarebbe stato migliore del GPT-4 di OpenAI, il modello che alimenta ChatGPT Plus. Ora che Google Gemini è stato lanciato, possiamo finalmente metterlo alla prova e vedere come Gemini si confronta con GPT-4.

Quando Google ha lanciato Bard a marzo 2023, c'erano molte ragioni per essere entusiasti. Finalmente, il monopolio ChatGPT di OpenAI sarebbe stato spezzato e avremmo avuto una degna concorrenza.

Ma Bard non è mai stato il titano dell'IA che la gente sperava, e GPT-4 rimane la piattaforma dominante per chat bot generativi con IA. Ora, Gemini di Google è qui, ma il modello di IA atteso da tempo è migliore di ChatGPT?

Cos'è il modello di intelligenza artificiale Gemini di Google?

Gemini è il modello di intelligenza artificiale generativa più capace di Google, in grado di comprendere e operare su diversi formati di dati, tra cui testo, audio, immagini e video. È il tentativo di Google di creare un modello di intelligenza artificiale unificato che tragga le capacità dalle sue tecnologie di intelligenza artificiale più capaci. Gemini sarà disponibile in tre varianti:

  1. Gemini Ultra:La variante più grande e più efficiente, progettata per gestire attività altamente complesse.
  2. Gemelli Pro:Il modello migliore per scalare e garantire prestazioni elevate in un'ampia gamma di attività, ma meno efficiente di Ultra.
  3. Gemelli Nano:Il modello più efficiente progettato per l'implementazione di attività su dispositivo. Ad esempio, gli sviluppatori possono usare Gemini Nano per creare app mobili o sistemi integrati, portando una potente IA nello spazio mobile.

Sul suo blog ufficiale,La parola chiave, Google afferma che Gemini Ultra supera lo stato dell'arte in diversi benchmark. Google afferma che Gemini Ultra batte il leader del settore GPT-4 in diversi benchmark chiave.

Con un punteggio senza precedenti del 90,0% nel rigoroso benchmark MMLU, Google afferma che Gemini Ultra è il primo modello a superare le prestazioni a livello umano in questo test poliedrico che coinvolge 57 soggetti.

Google

Gemini Ultra può anche comprendere, spiegare e generare codice di alta qualità in alcuni dei linguaggi di programmazione più popolari al mondo, tra cui Go, JavaScript, Python, Java e C++. Sulla carta, questi sono tutti ottimi risultati. Ma sono tutti benchmark e i benchmark non sempre raccontano tutta la storia. Quindi, quanto è performante Gemini in attività del mondo reale?

Come utilizzare Google Gemini AI

Delle tre varianti del modello Gemini AI, puoi iniziare a usare Gemini Pro subito. Gemini Pro è attualmente disponibile sul chatbot Bard di Google. Per usare Gemini Pro con Bard, vai subard.google.come accedi con il tuo account Google.

Google afferma che Gemini Ultra verrà lanciato a gennaio 2024, quindi per ora abbiamo dovuto accontentarci di testare Gemini Pro su ChatGPT.

Come Gemini si confronta con GPT-3.5 e GPT-4

Quando viene lanciato un nuovo modello di IA, viene testato rispetto ai modelli di IA GPT di OpenAI, generalmente accettati come il modello all'avanguardia a cui altri modelli dovrebbero essere confrontati. Quindi, utilizzando Bard e ChatGPT, abbiamo testato l'abilità di Gemini in matematica, scrittura creativa, generazione di codice ed elaborazione accurata di input di immagini.

Iniziando con la domanda matematica più semplice che ci è venuta in mente, abbiamo chiesto a entrambi i chatbot di risolvere:-1x-1x-1.

Bard è andato per primo. Abbiamo ripetuto la domanda due volte, e tutti hanno dato risposte sbagliate. Abbiamo ottenuto la risposta al terzo tentativo, ma questo non conta.

Abbiamo provato ChatGPT su GPT-3.5. Il primo tentativo ha funzionato correttamente.

Per testare le capacità di interpretazione delle immagini di Gemini, gli abbiamo chiesto di interpretare alcuni meme popolari. Ha rifiutato, dicendo che non riesce a interpretare immagini con persone al loro interno. ChatGPT, che esegue GPT-4V, è stato disposto e in grado di farlo in modo impeccabile.

Abbiamo tentato un altro tentativo di fargli interpretare un'immagine mentre testavamo la sua capacità di problem-solving e di codifica. Abbiamo dato a Bard, che eseguiva Gemini Pro, uno screenshot e gli abbiamo chiesto di interpretare e scrivere codice HTML e CSS per replicare lo screenshot.

Ecco lo screenshot originale.

Di seguito è riportato il tentativo di Gemini Pro di interpretare e replicare lo screenshot utilizzando HTML e CSS.

Ed ecco il tentativo di GPT-4 di replicare lo screenshot. Il risultato non sorprende, considerando che GPT-4 è storicamente stato forte nella codifica. Abbiamo già dimostrato in precedenza l'utilizzo di GPT-4 per creare un'app Web da zero.

Abbiamo chiesto a Gemini Pro di creare una poesia su Tesla (il marchio di auto elettriche). Ha mostrato miglioramenti marginali rispetto ai test precedenti che abbiamo fatto in passato. Ecco il risultato:

A questo punto, abbiamo pensato che sarebbe stato più appropriato confrontare i risultati con GPT-3.5 piuttosto che con GPT-4 potenziato. Quindi, abbiamo chiesto a ChatGPT che esegue GPT-3.5 di creare una poesia simile.

Potrebbe essere una scelta personale, ma la versione di Gemini Pro sembra migliore. Ma lasciamo che siate voi a giudicare.

Gemini è migliore di ChatGPT?

Prima che Google lanciasse Bard, pensavamo che sarebbe stata la competizione di ChatGPT che stavamo aspettando, ma non lo è stata. Ora, Gemini è qui e, finora, Gemini Pro non sembra il modello per dare a ChatGPT il colpo decisivo.

Google afferma che Gemini Ultra sarà molto meglio. Ci auguriamo davvero che lo sia e che soddisfi o superi le affermazioni fatte nell'annuncio di Gemini Ultra. Ma finché non vedremo e testeremo la versione migliore dello strumento di intelligenza artificiale generativa di Google, non sapremo se riuscirà a spodestare altri concorrenti del modello di intelligenza artificiale. Allo stato attuale, GPT-4 rimane il campione indiscusso del modello di intelligenza artificiale.

Related Posts