Meta lanza Llama 3, un modelo de IA capaz de generar imágenes en tiempo real en WhatsApp

Hoy (18/4) el Meta anunció los dos primeros modelos de la próxima generación del Llama, el metallama 3, listo para ser utilizado de forma integral. Esta nueva versión incluye modelos de lenguaje previamente entrenados y ajustados, con parámetros 8B e 70B, capaz de satisfacer una amplia gama de necesidades. Siguiendo la tradición de apoyar a la comunidad de código abierto, Meta hizo la llamas 3 para la comunidad. Esto también significa que el Meta IATambién se mejorará la inteligencia artificial presente en las redes sociales de la compañía, incluida la capacidad de crear imágenes en tiempo real en el WhatsApp. ¡Vea mas!

Conoce a Llama 3

Con el llamas 3 La empresa pretende desarrollar modelos abiertos que rivalicen con los mejores modelos de lenguaje propietario disponibles actualmente, como es el caso de GPT-4. Se ha dado prioridad a los comentarios de los desarrolladores para mejorar la usabilidad general de Llama 3, según Meta, “Mantener un compromiso con el liderazgo en el uso responsable y la implementación de Grand Language Models (LLM).".

Siguiendo los principios de código abierto, se adoptó un enfoque de lanzamiento temprano y frecuente, lo que permitió a la comunidad acceder y contribuir al desarrollo de estos modelos en tiempo real. Las plantillas basadas en texto presentadas hoy son solo las primeras de la serie Llama 3. La visión para el futuro incluye expandir Llama 3 para ofrecer soporte multilingüe y multimodal, aumentar la capacidad contextual y mejorar continuamente el rendimiento en todos los aspectos clave. LLM, como el razonamiento y la codificación.

En línea con el enfoque de diseño en llamas 3, Meta optó por una arquitectura transformadora solo decodificador, que es una opción predeterminada. Llama 3 emplea tokenización con un vocabulario ampliado de 128 mil fichas, lo que da como resultado una codificación del lenguaje más eficiente y, en consecuencia, un mejor rendimiento del modelo. Para optimizar la eficiencia de inferencia de los modelos Llama 3, la empresa incorporó la técnica de atención de consultas agrupadas (GQA) en dos tamaños diferentes: 8B y 70B. Durante el entrenamiento, las secuencias utilizadas tienen una longitud de 8.192 tokens y se aplica una máscara para garantizar que la atención personal permanezca dentro de los límites del documento.

Para entrenar el mejor modelo de lenguaje, es esencial tener un conjunto de datos de entrenamiento grande y de alta calidad. De acuerdo con nuestros principios de diseño, hemos invertido considerablemente en datos de preentrenamiento para Llama 3. Este modelo está preentrenado en más de 15 billones de tokens, todo de fuentes disponibles públicamente. Nuestro conjunto de datos de entrenamiento es siete veces mayor que el utilizado para Llama 2 e incluye cuatro veces más código.

En preparación para futuros casos de uso multilingüe, más del 5% del conjunto de datos previo al entrenamiento de Llama 3 consta de datos de alta calidad en idiomas distintos del inglés. cubriendo más de 30 idiomas. Sin embargo, Meta no espera alcanzar el mismo nivel de rendimiento en estos idiomas que el logrado en inglés.

Para garantizar que Llama 3 esté entrenado con datos de la más alta calidad, se desarrolló una serie de canales de filtrado de datos. Estos ductos incluyen el uso de filtros heurísticos, filtros de contenido inapropiado, técnicas de deduplicación semántica y clasificadores de texto para evaluar la calidad de los datos. Las versiones anteriores de Llama son efectivas en identificación de datos de alta calidad, luego se utilizó Llama 2 para generar los datos de entrenamiento para los clasificadores de calidad de texto que alimentan a Llama 3.

Además, Meta incluso utilizó experimentos para determinar las mejores formas de fusionar datos de diferentes fuentes en el conjunto de datos final previo al entrenamiento. Estos experimentos nos permitieron seleccionar una combinación de datos que garantiza que Llama 3 funcione bien en una variedad de casos de uso, incluidos preguntas triviales, las disciplinas de STEM (ciencia, tecnología, ingeniería y matemáticas), codificación, conocimiento historico, Entre otros.

Comparación con Llama 2

los nuevos modelos llamas 3, con parámetros de 8B y 70B, suponen un avance respecto a los llamas 2, estableciendo un nuevo estándar para los modelos LLM en estas escalas. Meta afirma que debido a las mejoras tanto en el pre-entrenamiento como en el post-entrenamiento, los modelos pre-entrenados y ajustados por instrucción son actualmente los líderes indiscutibles en la escala de parámetros 8B y 70B.

Las optimizaciones en los procedimientos posteriores a la capacitación dieron como resultado una reducir las tasas de rechazo erróneo, además de mejorar la alineación y aumentar la diversidad en las respuestas del modelo. También se observaron mejoras significativas en funciones como el razonamiento, la generación de código y la orientación futura, lo que hace que Llama 3 sea aún más adaptable y específico.

Durante el desarrollo de Llama 3 se realizó un análisis del desempeño del modelo, tanto en benchmarks estándar como en escenarios del mundo real. Para garantizar una optimización efectiva para aplicaciones prácticas, se creó una nueva suite de evaluación humana de alta calidad. Este conjunto consta de 1.800 indicaciones que cubren 12 casos de uso principales, incluidos pedir consejo, generar ideas, clasificar, responder preguntas cerradas, codificar, escribir creativamente, extraer, personificar personajes, responder preguntas abiertas, razonar, reescribir e resumen.

Para evitar el sobreajuste (o sobreajuste, el término más comúnmente utilizado) accidental de los modelos a este conjunto de evaluación, incluso los propios equipos de modelado de Meta no tienen acceso a él. El gráfico presentado muestra los resultados agregados de las evaluaciones humanas en estas categorías e indicaciones, comparando el rendimiento de Llama 3 con los modelos. Claude Soneto, Mistral Medio e GPT-3.5.

Cómo Llama 3 mejora la meta IA

Debido a los avances logrados con Meta Llama 3, la compañía anuncia la expansión internacional de Meta AI, recordando que el recurso era exclusivo de Estados Unidos. Meta AI, que se presenta como un fuerte competidor de los modelos existentes, ahora está disponible para más personas en todo el mundo, lo que permite a los usuarios de Facebook, Instagram, WhatsApp e Messenger disfruta de esta tecnología gratuita para realizar una variedad de acciones, crear contenido y acceder a información en tiempo real.

Meta AI se reveló inicialmente durante Connect el año pasado, y ahora los usuarios en países como Australia, Canadá, Ghana, Jamaica, Malawi, Nueva Zelanda, Nigeria, Pakistán, Singapur, Sudáfrica, Uganda, Zambia e Zimbábue También puedes disfrutar de sus beneficios. Como parte de la expansión de Meta AI, las personas ahora también podrán acceder a ella en meta.ai, en la versión web.

¿Estás planeando salir por la noche con amigos? Pídale a Meta AI que le recomiende un restaurante con una vista increíble e incluso opciones veganas. ¿Estás organizando un viaje para el fin de semana? Pídale a Meta AI que busque programas para el sábado por la noche. ¿Estás preparándote para una prueba? Pídale a Meta AI que le explique cómo funcionan los rasgos hereditarios. ¿Te mudas a tu primer apartamento? Pídele a Meta AI que "imagine" la estética que deseas y el asistente generará algunas fotos de inspiración para tus muebles. 

Meta explicando un poco cómo la IA puede ayudarte

O Meta IA también estará disponible directamente en la función de búsqueda de Facebook, Instagram, WhatsApp y Messenger. Esto significa que puedes acceder a información desde internet en tiempo real sin tener que cambiar entre aplicaciones. Por ejemplo, imagina que estás planeando un viaje con amigos en un chat grupal de Messenger. Con la búsqueda de Messenger, puedes pedirle a Meta AI, impulsada por el nuevo Llama 3, que busque vuelos desde tu origen a tu destino y descubra los fines de semana más lentos para visitar. Y por supuesto, todo ello sin tener que salir de la aplicación Messenger.

Las personas también tendrán la posibilidad de acceder a Meta AI mientras navegan por su feed de Facebook. Si encuentra una publicación que despierta su interés, puede solicitar más información directamente a Meta AI desde esa publicación, como una búsqueda normal en Google, solo que dentro de una publicación de Facebook.

Meta está acelerando el proceso de creación de imágenes para permitir a las personas crear imágenes en tiempo real a partir de texto utilizando la función Imagine de Meta AI. El lanzamiento de esta función comenzó hoy en versión beta, disponible en WhatsApp y la experiencia web Meta AI en los Estados Unidos. Cuando comiencen a escribir, las personas verán aparecer una imagen al instante. Esta imagen evolucionará con cada pocas letras que escribas, lo que te permitirá ver cómo Meta AI da vida a tu idea en tiempo real.

Según la empresa, estas imágenes generadas presentan una nitidez y calidad mejoradas, ofreciendo una mejor capacidad para incluir texto en imágenes. Además, proporcionará sugerencias para mejorar la imagen, lo que le permitirá continuar refinando desde su punto de partida inicial. Cuando encuentre una imagen, simplemente pídale a Meta AI que la anime, la adapte a un nuevo formato o incluso la transforme en un GIF para compartir con tus amigos.

Si bien estas actualizaciones son específicas de Meta AI en Facebook, Instagram, WhatsApp, Messenger y la web, es importante recordar que Meta AI también está disponible en los Estados Unidos para gafas inteligentes. Ray-Ban Meta, y pronto en Meta búsqueda — Dispositivos de realidad virtual meta.

Transparencia con código abierto y seguridad

El potencial de la tecnología de IA generativa puede realmente mejorar la experiencia del usuario de los productos de Meta y el ecosistema en general. Aún así, otro punto que debe abordarse es garantizar que esto se haga de manera responsable e segura. Por lo tanto, la empresa está tomando medidas para evaluar y mitigar los riesgos en todas las etapas del desarrollo e implementación de la IA. Esto incluye la integración de salvaguardas en el proceso de diseño y lanzamiento del modelo base de Llama, así como también el apoyo al ecosistema de desarrolladores para promover prácticas responsables.

Por lo tanto, con Llama 3, se adoptó un enfoque sistemático que integra salvaguardias en todas las etapas de desarrollo. Esto significa que se ha puesto especial cuidado en los procesos de formación y puesta a punto, además de ofrecer herramientas que permitan a los desarrolladores implementar modelos de forma responsable.

Este enfoque no solo fortalece los esfuerzos en materia de IA responsable, sino que también refleja la visión de la innovación abierta, permitiendo a los desarrolladores personalizar de forma segura sus productos en beneficio de sus usuarios. Meta también tiene la Guía de uso responsable, una fuente importante para los desarrolladores, que proporciona directrices para la construcción de productos.

Como explicamos cuando lanzamos Llama 2, es importante ser intencional al diseñar estas medidas, ya que hay algunas que solo pueden ser implementadas de manera efectiva por el proveedor del modelo, y otras que solo funcionan de manera efectiva cuando las implementa el desarrollador como parte de sus objetivos específicos. solicitud.

Fortalece la empresa

Desde el lanzamiento de Meta AI el año pasado, la marca ha mejorado continuamente la experiencia en varias áreas:

• Las respuestas de Meta AI a cuestiones políticas y sociales se han perfeccionado, incorporando directrices específicas para estos temas. El objetivo es ofrecer una variedad de puntos de vista relevantes sobre un tema, respetando las intenciones del usuario al hacer preguntas específicas.
• Incluyendo instrucciones y respuestas específicas para hacerlo más útil, utilizando modelos de recompensa para guiar su comportamiento.
• El desempeño de Meta AI se evalúa en puntos de referencia y mediante pruebas con expertos humanos, abordando cualquier problema identificado en un proceso continuo.
• Salvaguardas a nivel de solicitud y respuesta, incluidos filtros y clasificadores para garantizar que las interacciones estén alineadas con las pautas y sean seguras.
• Herramientas de retroalimentación para que los usuarios compartan sus experiencias, lo que nos permite mejorar continuamente el rendimiento de Meta AI.

Y a ti, ¿qué te pareció la noticia? No podemos esperar a llegar a Brasil, ¿no? Cuéntanos qué encontraste en nosotros Comentario!

Vea también:

Google Photos libre edición de imágenes AI gratuita para todos los usuarios.

Con información de: Objetivo [1], [ 2 ] e [ 3 ].

Revisado por Glaucón Vital en 18 / 4 / 24.