La prueba incluía preguntas de opción múltiple sobre diversas materias, así como tareas de lógica.
Gemini Pro mostró resultados más débiles, especialmente en áreas relacionadas con las matemáticas, la programación y el procesamiento de consultas complejas. Al mismo tiempo, este modelo ha mostrado algunas ventajas en tareas relacionadas con la clasificación de palabras, símbolos y traducción de textos.
Sin embargo, a pesar de estos éxitos individuales, el Gemini Pro sigue estando por detrás del GPT-3.5 Turbo en términos de rendimiento global. En respuesta a los resultados del estudio, un representante de Google señaló la superioridad del Gemini Pro en otras pruebas internas de la empresa y expresó sus expectativas de que el próximo modelo, el Gemini Ultra, cuyo lanzamiento está previsto para 2024, supere a los modelos actuales, incluido el GPT-4.