Si bien Meta lleva años investigando en la computación de alto rendimiento, a principios de 2020 decidió que la mejor manera de acelerar el progreso era diseñar una nueva infraestructura desde cero.
Meta, la empresa matriz de Facebook, Instagram y WhatsApp, anunció el lunes que ha diseñado y construido el AI Research SuperCluster (RSC), un superordenador de inteligencia artificial que, según cree la compañía, será el más rápido del mundo cuando esté completamente terminado para mediados de 2022 y que allanará el camino para el desarrollo del metaverso.
Los investigadores de la compañía, propietaria de Facebook e Instagram, ya han empezado a utilizar el RSC para entrenar grandes modelos de procesamiento del lenguaje natural -comunicación máquina y humano mediante lenguas- y de visión artificial para investigación, con el objetivo de entrenar algún día con billones de parámetros.
Parámetros
El RSC ayudará a los investigadores de IA (inteligencia artificial) de Meta a crear nuevos y mejores modelos que puedan aprender de billones de sistemas como, trabajar en cientos de idiomas diferentes, analizar a la perfección texto, imágenes y vídeo, desarrollar nuevas herramientas de realidad aumentada y mucho más, según la compañía.
“Esperamos que el RSC nos ayude a construir sistemas de IA totalmente nuevos que puedan por ejemplo realizar traducciones de voz en tiempo real a grandes grupos de personas, cada una de las cuales habla un idioma diferente, para que puedan colaborar sin problemas en un proyecto de investigación o jugar juntos con realidad aumentada”, indicaron desde la organización.
Si bien Meta lleva años investigando en la computación de alto rendimiento, a principios de 2020 decidió que la mejor manera de acelerar el progreso era diseñar una nueva infraestructura desde cero, con el objetivo de aprovechar la nueva tecnología de las GPU -unidades de procesamiento gráfico- y del tejido en red.
“Queríamos que esta infraestructura fuera capaz de entrenar modelos con más de un billón de parámetros en conjuntos de datos de hasta un exabyte, lo que equivale a 36.000 años de vídeo de alta calidad“, añadieron en la empresa.
El RSC ya está en marcha, pero su desarrollo continúa. Las primeras pruebas de rendimiento demuestran que un modelo con decenas de miles de millones de parámetros puede terminar el entrenamiento en tres semanas, en comparación con las nueve semanas anteriores.
Supercomputador con IA
Estos ordenadores con inteligencia artificial se construyen combinando múltiples GPU en nodos de cálculo, que luego son conectados por un tejido en red de alto rendimiento para permitir una comunicación rápida entre esas unidades.
Este año Meta trabajará para aumentar el número de GPU de 6.080 -que tiene ahora- a 16.000, lo que incrementará el rendimiento del entrenamiento de IA en más de 2,5 veces.
“Una vez que completemos la segunda fase de construcción, creemos que será el superordenador de IA más rápido del mundo con un rendimiento de casi 5 exaflops”, detalla.
Kevin Lee y Shubho Sengupta, del equipo de investigación de inteligencia artificial de Meta, resumen:
“Esperamos que este cambio de función en la capacidad de computación nos permita no solo crear modelos de IA más precisos para nuestros servicios existentes, sino también para permitir experiencias de usuario completamente nuevas, especialmente en el metaverso“.
En cuanto a la protección y seguridad de los datos, Meta asegura que el RSC ha sido diseñado desde el principio teniéndolas en cuenta.
La empresa explica que, para cumplir estos requisitos, toda la ruta de datos desde los sistemas de almacenamiento hasta las unidas GPU están encriptadas de extremo a extremo y cuentan con las herramientas y procesos necesarios para verificar su cumplimiento en todo momento.