25 julio, 2024
InicioNoticiasEl LLM más grande y potente de código abierto del mundo: Falcon...

El LLM más grande y potente de código abierto del mundo: Falcon – 180B

El Instituto de Innovación Tecnológica de los EAU ha sorprendido al mundo tecnológico con el lanzamiento de Falcon 180B, el modelo de lenguaje de código abierto más grande y potente jamás creado. Con sus asombrosos 180 mil millones de parámetros y entrenado en 3,5 billones de tokens, este modelo ha establecido nuevos estándares en el campo de la inteligencia artificial.

Un vistazo a Falcon 180B:

El modelo, Falcon 180B, es un decodificador causal con 180 mil millones de parámetros, entrenado con 3,5 billones de tokens de RefinedWeb mejorados con corpora curados. Se encuentra a la cabeza en la clasificación de modelos de lenguaje grande preentrenados de Hugging Face, y está disponible tanto para investigación como para uso comercial.

Este titán de la IA muestra un rendimiento excepcional en diversas tareas, como razonamiento, codificación y pruebas de conocimiento, superando a competidores de la talla del LlaMa 2 de Meta. Aunque en modelos de código cerrado, Falcon 180B está justo detrás de GPT 4 de OpenAI, compite con el PaLM 2 Large de Google, que alimenta a Bard, a pesar de ser la mitad de su tamaño.

Tras el impacto que causó el modelo Falcon-40B, el Instituto ha vuelto a superarse con el lanzamiento de este impresionante modelo de código abierto.

¿Por qué usar Falcon-180B?

  • Es el mejor modelo de acceso abierto disponible actualmente y uno de los mejores en general, superando a otros modelos como LLaMA-2, StableLM, RedPajama, MPT, entre otros.
  • Su arquitectura está optimizada para inferencia, con multiquery.
  • Está disponible bajo una licencia permisiva que permite su uso comercial.
  • A pesar de ser un modelo preentrenado en bruto, existe una versión, Falcon-180B-Chat, diseñada específicamente para instrucciones genéricas en formato de chat.
  • Para aquellos que buscan modelos más pequeños y menos costosos, Falcon-7B y Falcon-40B son alternativas viables.

Detalles del Modelo:

  • Desarrollado por: Instituto de Innovación Tecnológica de los EAU
  • Tipo de Modelo: Decodificador causal únicamente.
  • Idiomas: Inglés, alemán, español, francés y capacidades limitadas en italiano, portugués, polaco, holandés, rumano, checo y sueco.
  • Licencia: Licencia Falcon-180B TII y Política de Uso Aceptable.

Aunque el modelo es una maravilla tecnológica, tiene sus limitaciones. Está entrenado principalmente en idiomas como inglés, alemán, español y francés, y puede no generalizarse adecuadamente a otros idiomas. Además, al ser entrenado en corpora a gran escala representativos de la web, puede llevar consigo estereotipos y sesgos comúnmente encontrados en línea.

El Instituto recomienda a los usuarios considerar la adaptación del modelo a tareas específicas y tomar las precauciones necesarias para cualquier uso en producción. La comunidad está ansiosa por el paper que se espera próximamente y por lo que Falcon 180B tiene reservado para el futuro de la IA.

Más información en blog de EAU y también podréis probar en un ChatDemo.

Fuente: Noticias AI

ARTÍCULOS RELACIONADOS
- Patrocinadores -



Más populares