Meta acaba de anunciar el lanzamiento de Llama 3.1, la última iteración de su modelo de lenguaje grande de código abierto. El tan esperado modelo de tamaño gigante tiene altas puntuaciones en los mismos puntos de referencia que todos los demás usan, y la compañía dijo que supera a ChatGPT 4o de OpenAi en algunas pruebas.
Según el documento de investigación que acompaña al lanzamiento del modelo, la versión del parámetro 405b del modelo (el sabor más grande) se entrenó con hasta 16,000 de las populares GPU H100 de Nvidia. La Nvidia H100 es una de las piezas tecnológicas más caras y codiciadas que impulsan el actual auge de la IA. Meta parece tener uno de los mayores tesoros de las potentes GPU.
Por supuesto, la lista de empresas que buscan chips tan potentes para el entrenamiento de IA es larga, y probablemente incluya a la mayoría de las grandes empresas tecnológicas de hoy en día, pero sólo unas pocas empresas se han jactado públicamente de cuántos H100 tienen.
Se estima que el H100 costará entre 20.000 y 40.000 dólares, lo que significa que Meta utilizó hasta 640 millones de dólares en hardware para entrenar el modelo. Y eso es solo una pequeña porción del hardware de Nvidia que Meta ha estado almacenando. A principios de este año, Meta dijo que su objetivo era tener un alijo de 350.000 H100 en su infraestructura de entrenamiento de IA, lo que suma más de 10.000 millones de dólares en chips especializados de Nvidia.
