Le nouveau modèle d'IA « Reka » défie ChatGPT, Claude et Llama-3 — et c'est gratuit

Une startup axée sur la création de modèles d'intelligence artificielle personnalisés pour les grandes entreprises a annoncé le lancement public de Reka Core, un modèle de langage multimodal capable de traiter des entrées de texte, d'image, vidéo et audio.

La société de logiciels d'entreprise Reka AI a été fondée en 2022 par des chercheurs de DeepMind de Google, du géant chinois de la technologie Baidu et Meta. Jusqu'à présent, il a levé 60 millions de dollars de financement auprès d'investisseurs tels que New York Life Ventures, Radical Ventures, Snowflake Ventures, DST Global et l'investisseur entrepreneur Nat Friedman.

Reka Core est à ce jour le modèle le plus grand et le plus performant de l'entreprise. Et Reka AI, faisant référence à ses propres tests, affirme qu’elle résiste bien à de nombreux modèles beaucoup plus grands et bien financés. Dans un document de recherche qui compile les résultats de plusieurs benchmarks synthétiques, Reka affirme que son modèle Core peut rivaliser avec les outils d'IA d'OpenAI, Anthropic et Google.

L’un des indicateurs clés est le MMMU, le référentiel Massive Multi-discipline Multimodal Understanding and Reasoning. Il s'agit d'un ensemble de données conçu pour tester les capacités des grands modèles linguistiques (LLM) en matière de compréhension et de raisonnement multimodaux à un niveau comparable à celui des experts humains.

« Core est comparable au GPT-4V en MMMU, surpasse Claude-3 Opus dans notre évaluation humaine multimodale indépendante et surpasse Gemini Ultra dans les tâches vidéo », a déclaré Reka AI dans son document de recherche. « Sur les tâches linguistiques, Core est compétitif par rapport aux autres modèles de pointe dans des benchmarks bien établis. »

En termes de compréhension de l'entrée vidéo, mesurée avec le benchmark Perception-Test, le Core surpasse le Gemini Ultra, le seul autre modèle capable de gérer la vidéo.

Dans l’ensemble, Reka Core possède des capacités multimodales (image et vidéo), de bonnes capacités de raisonnement, peut générer du code et parle couramment plusieurs langues. L'interface du chatbot est gratuite et Reka Core est également disponible via API. Pour accéder à l'API, les développeurs doivent payer 10 $ pour chaque million de jetons et 25 $ pour le même nombre de jetons de sortie.

Cependant, le modèle a du mal avec les longues invites. Sa version gratuite ne gère que 4 000 jetons de contexte pour des raisons d'efficacité, avec un contexte étendu allant jusqu'à 128 000 jetons, selon Reka. Les modèles concurrents d'OpenAI, Anthropic et Google ont une fenêtre de contexte standard de 128 000 avec des versions expérimentales gérant jusqu'à 1 million de jetons.

Reka Core a été entièrement formé avec des milliers de GPU pendant plusieurs mois. La société a déclaré avoir utilisé des données textuelles provenant de 32 langues, ce qui lui permet de parler couramment l'anglais, ainsi que plusieurs langues asiatiques et européennes. Ses développeurs affirment avoir également intégré une formation multilingue à partir d'un ensemble de données Wikipédia contenant 110 langues, lui donnant une connaissance de base limitée de nombreuses langues et dialectes rares.

Reka Core est disponible pour des essais gratuits, mais n'est pas open source. Reka AI affirme travailler avec de nombreuses plates-formes technologiques mondiales et organisations gouvernementales de premier plan telles que Snowflake, Oracle et AI Singapore.

Essayer Reka

Décrypter Mettez Reka Core à l'épreuve, via son interface de chatbot publique. Il ressemble beaucoup à ChatGPT, utilisant un écran en mode sombre avec des reflets bleus et violets.

Capacités visuelles

Les capacités visuelles de Reka Core sont impressionnantes, mais il est important de noter qu'il ne peut pas générer d'images comme ChatGPT Plus, Meta AI ou Google Gemini.

<img class="alignnone wp-image-228512 size-full" src="https://wp.decrypt.co/wp-content/uploads/2024/04/Captura-de-pantalla-2024-04-27-212253.png" alt="respuesta de reka core al ser solicitada para dibujar una foto de un gato" width="1045" height="641" />

Sin embargo, las capacidades de visión de Reka son rápidas y precisas, lo que la convierte en una gran herramienta para tareas que requieren análisis visual.

<img class="alignnone wp-image-228516 size-full" src="https://wp.decrypt.co/wp-content/uploads/2024/04/Captura-de-pantalla-2024-04-27-212318.png" alt="respuesta de reka core al ser solicitada para describir una foto" width="1019" height="641" />

En nuestras pruebas, Reka fue más rápida que GPT-4 y proporcionó resultados precisos, tanto al describir algo como al utilizar información visual contextualmente para responder a una tarea. Por ejemplo, le mostramos a Reka una foto de la Torre Eiffel y le preguntamos qué podríamos hacer para disfrutar de un fin de semana en esa ciudad. Reka entendió el contexto y nos dio un itinerario con lugares para visitar en París, sin incluir la Torre Eiffel.

Reka AI semble bien conscient de la qualité visuelle de son modèle par rapport à la concurrence. Ils ont construit une présentation spéciale d'exemples de différents résultats fournis par Reka, GPT-4 et Claude 3 Opus.

Reka écrit du code

Reka Core est un assistant de codage performant, mais il présente certaines limites. Dans les épreuves de Décrypter, Reka a exigé une formulation soignée avant de fournir des résultats précis, car tout ce que vous écrivez est pris au pied de la lettre. Cela peut être un défi pour les utilisateurs novices qui ne savent pas comment expliquer les choses d'une manière que Reka puisse comprendre.

Une fois les invites écrites correctement, Reka peut générer du bon code et des résultats satisfaisants.

Décrypter a demandé au modèle de créer du code pour un jeu qui n'existe pas. Le premier résultat n’a pas fonctionné, même s’il écrivait exactement ce que nous avions demandé. Lorsque nous avons été plus explicites et reformulé notre demande, il a créé du premier coup un code fonctionnel mais imparfait, avec de meilleurs résultats que ceux fournis par Claude 3 Opus.

L'exemple de code est disponible ici, ainsi que les versions générées par d'autres LLM.

Reka dispose de paramètres de sécurité élevés

Reka Core dispose de contrôles de sécurité intégrés et refuse de générer des résultats considérés comme nuisibles ou contraires à l'éthique, même s'ils sont légaux. Par exemple, il a refusé de donner des conseils pour séduire le partenaire amoureux d’un ami.

Lors de nos tests, Reka a résisté aux techniques de jailbreak de base et s'est montré plus neutre que d'autres modèles comme GPT-4, Llama-3 et Claude. Interrogée sur des sujets controversés tels que l'identité de genre et les idéologies politiques, Reka a fourni des réponses équilibrées et impartiales.

<img class="alignnone wp-image-228532 size-full" src="https://wp.decrypt.co/wp-content/uploads/2024/04/Captura-de-pantalla-2024-04-27-213827.png" alt="reka core compara el socialismo y el capitalismo" width="1034" height="694" />

En otro ejemplo, proporcionó argumentos a favor y en contra del capitalismo y el socialismo, incluso cuando se le pidió que decidiera cuál era el mejor modelo. Además, cuando se le pidió definir a una mujer, Reka proporcionó una respuesta detallada y matizada que reconocía tanto factores biológicos como sociológicos, siendo concreta al definir a una mujer como "un ser humano adulto de sexo femenino, caracterizado por atributos biológicos, psicológicos y sociales típicamente asociados con el género femenino".

Además, Reka tuvo cuidado de reconocer las complejidades de la identidad de género y de proporcionar una respuesta respetuosa e inclusiva.

<img class="alignnone wp-image-228528 size-full" src="https://wp.decrypt.co/wp-content/uploads/2024/04/Captura-de-pantalla-2024-04-27-213717.png" alt="reka core considera la masculinidad" width="1069" height="806" />
<h3>Reka intenta escribir creativamente</h3>
Le pedimos al modelo que creara una historia sobre una persona que viajó desde el año 2160 al año 1000 para solucionar un problema, pero que inadvertidamente causó una paradoja temporal.

El estilo narrativo de Reka es claro y atractivo, con algunos lindos detalles descriptivos aquí y allá. Sin embargo, la prosa no alcanza todo lo alto que la imaginación de otras IAs como Claude. La trama también se siente un poco subdesarrollada y tiene un aire de hecha por AI.

Como se mencionó anteriormente, uno de los puntos débiles de Reka es la falta de capacidades contextuales, lo que podría dificultar la generación de historias largas o el mantenimiento de una narrativa coherente a través de diferentes capítulos.

En este campo, el claro ganador es Claude. En términos de habilidad narrativa pura, la capacidad de crear una historia atractiva, emocionalmente resonante, con una hermosa prosa y una voz narrativa segura, Claude supera a los demás. En términos generales, la prosa de Claude tiene una maravillosa calidad literaria.

Una muestra de las historias generadas por Reka, Claude, ChatGPT, Mistral y Llama-3 <a title="Se Puede Encontrar Aquí" href="https://pastebin.com/s3yivey0">se puede encontrar aquí</a>.
<h3>Conocimiento y razonamiento</h3>
Las capacidades de conocimiento y razonamiento de Reka Core son realmente buenas. En las pruebas de <em>Decrypt</em>, Reka pudo manejar preguntas complejas que requerían análisis, y demostró algunas capacidades matemáticas. Además, Reka pudo explicar su razonamiento lógico de manera clara y concisa.

<img class="alignnone wp-image-228540 size-full" src="https://wp.decrypt.co/wp-content/uploads/2024/04/Captura-de-pantalla-2024-04-27-214645.png" alt="" width="1056" height="601" />

También es bueno con las preguntas de seguimiento, iterando sobre el mismo problema sin perder el contexto, siempre y cuando las preguntas de seguimiento no empujen al modelo más allá de sus límites técnicos. Si eso sucede, se vuelve imposible continuar interactuando con él.

Reka también <a title="Publicó un video" href="https://www.youtube.com/watch?v=b3i6VuLIENc&amp;t=667s">publicó un video</a> explicando cómo los usuarios podrían implementar agentes de IA utilizando su API, lo que podría ampliar aún más sus capacidades, haciéndolo más poderoso en este sentido.
<h3>Comprensión del lenguaje</h3>
Las capacidades de comprensión del lenguaje de Reka Core son excelentes. En nuestras pruebas, Reka pudo entender texto incluso si contenía muchos errores. También era un hábil corrector de pruebas, capaz de adoptar diferentes estilos y tonos en una narrativa.

<img class="alignnone wp-image-228544 size-full" src="https://wp.decrypt.co/wp-content/uploads/2024/04/Captura-de-pantalla-2024-04-27-214952.png" alt="reka core ayuda con gramática y corrección de pruebas" width="1055" height="673" />

El modelo también comprende matices en diferentes idiomas. Pudo tanto traducir como extraer el marco contextual para comprender completamente el mensaje de una traducción. Entendió un dicho común en español, nos dio el equivalente cultural adecuado y explicó su significado.

<img class="alignnone wp-image-228548 size-full" src="https://wp.decrypt.co/wp-content/uploads/2024/04/Captura-de-pantalla-2024-04-27-215208.png" alt="traduce un refrán en español" width="1042" height="475" />
<h2>Conclusión</h2>
<em>Decrypt</em> quedó bastante impresionado por Reka Core.

Reka es mejor que Gemini de Google en cuanto a resultados y trabajo general, pero Gemini ofrece 2TB de almacenamiento e integración con la suite de productos de Google, un gran beneficio para algunos usuarios.

Si las capacidades visuales son una prioridad, definitivamente vale la pena considerar Reka. Al ser gratuito y rápido, puede conquistar los corazones de muchos entusiastas de la IA ansiosos por explorar lo mas nuevo antes que las masas.

Si necesitas enfocarte en la escritura creativa, Claude sigue siendo el claro ganador. Si eso no es una prioridad, no hay mucha diferencia entre Claude y Reka. Claude es el mejor por sus capacidades de contexto largo, y Reka es el mejor por sus destacadas capacidades visuales.

En términos generales, si las personas necesitan un chatbot avanzado con un amplio alcance de capacidades, Reka es una excelente alternativa para ahorrar dinero a los usuarios que de otro modo considerarían una suscripción mensual a un servicio de pago.

<em>Editado por <a href="https://decrypt.co/author/stacy">Stacy Elliott</a>.</em>