Instancias Trn1 de Amazon EC2

Más de 10 000 organizaciones de todo el mundo (incluidas Comcast, Condé Nast y más del 50 % de las empresas de la lista Fortune 500) confían en los Databricks para unificar sus datos, análisis e inteligencia artificial.

«Miles de clientes han implementado Databricks en AWS, lo que les permite usar MosaicML para preentrenar, ajustar y ofrecer modelos básicos para una variedad de casos de uso. AWS Trainium nos brinda la escala y el alto rendimiento necesarios para entrenar nuestros modelos MPT de Mosaic, y a un bajo costo. A medida que entrenamos nuestros modelos Mosaic MPT de próxima generación, Trainium2 permitirá construir modelos aún más rápido, lo que nos permitirá ofrecer a nuestros clientes una escala y un rendimiento sin precedentes para que puedan lanzar al mercado sus propias aplicaciones de IA generativa con mayor rapidez. «

Naveen Rao, VP of Generative AI de Databricks

Con la misión de “reinventar el mecanismo de creación de valor y hacer avanzar a la humanidad”, Stockmark ayuda a muchas empresas a crear y construir negocios innovadores al proporcionar tecnología de procesamiento del lenguaje natural de vanguardia.

«Con 16 nodos de instancias Trn1 de Amazon EC2 impulsadas por chips AWS Trainium, hemos desarrollado y publicado stockmark-13b, un gran modelo de lenguaje con 13 000 millones de parámetros, previamente entrenado desde cero en un corpus japonés de 220 000 millones de tokens. El corpus incluye los textos más recientes sobre dominios empresariales hasta septiembre de 2023. El modelo obtuvo la puntuación más alta de JSquad (0,813) en el punto de referencia JGLUE (Japanese General Language Understanding Evaluation) en comparación con otros modelos equivalentes. Está disponible en Hugging Face Hub y se puede usar comercialmente con la licencia de MIT. Las instancias Trn1 nos ayudaron a lograr una reducción del 20% en los costos de capacitación en comparación con las instancias de GPU equivalentes. »

Kosuke Arima, CTO de Stockmark Co., Ltd.

RICOH ofrece soluciones para el lugar de trabajo y servicios de transformación digital diseñados para gestionar y optimizar el flujo de información entre las empresas.

«La migración a las instancias de Trn1 fue bastante sencilla. Pudimos completar el entrenamiento de nuestro modelo de parámetros 13B en solo 8 días. Basándonos en este éxito, esperamos desarrollar y entrenar nuestro modelo de parámetros 70B en Trainium y estamos entusiasmados con el potencial de estas instancias para entrenar nuestros modelos de manera más rápida y rentable. «

Yoshiaki Umetsu, Director, Digital Technology Development Center, RICOH

«En HeliXon, creamos soluciones de IA de próxima generación para terapias basadas en proteínas. Nuestro objetivo es desarrollar herramientas de IA que permitan a los científicos descifrar la función e interacciones de las proteínas, examinen los conjuntos de datos genómicos a gran escala para identificar objetivos y diseñar tratamientos como anticuerpos o terapias celulares. Hoy en día usamos bibliotecas de distribución de entrenamiento como FSDP para poner en paralelo el entrenamiento de modelos con varios servidores basados en GPU; sin embargo, aún tardamos semanas en entrenar un solo modelo. Nos entusiasma utilizar las instancias Trn1 de Amazon EC2, que ofrecen el mayor ancho de banda de red (800 Gbps) disponible en AWS para mejorar el rendimiento de nuestros trabajos de formación distribuidos y reducir los tiempos de formación de nuestros modelos, además de reducir los costes de formación. «

Jian Peng, CEO, Helixon

Money Forward, Inc. brinda servicios a empresas e individuos con una plataforma financiera abierta y justa.

«Lanzamos un servicio de chatbot de IA a gran escala en las instancias Inf1 de Amazon EC2 y redujimos nuestra latencia de inferencia en un 97% en comparación con las instancias comparables basadas en GPU, al tiempo que redujimos los costos. Mientras seguimos ajustando los modelos adaptados de NLP periódicamente, también es importante reducir los costos y tiempos de entrenamiento de modelos. Basándonos en nuestra experiencia de migración exitosa de cargas de trabajo de inferencia en instancias Inf1 y en nuestro trabajo inicial en instancias Trn1 EC2 basadas en AWS Trainium, esperamos que las instancias Trn1 proporcionen un valor adicional para mejorar el rendimiento y el costo del aprendizaje automático de extremo a extremo. «

Takuya Nakade, CTO, Money Forward, Inc.

Magic es un producto integrado y una empresa de investigación que desarrolla IA que es como el colega ideal para hacer que el mundo sea más productivo. 

«El entrenamiento de grandes modelos basados en transformadores autorregresivos es un componente esencial de nuestro trabajo. Las instancias Trn1 impulsadas por AWS Trainium se diseñan específicamente para estas cargas de trabajo y ofrecen escalabilidad casi infinita, conexión rápida a redes internodales y soporte avanzado para tipos de datos de 8 y 16 bits. Las instancias Trn1 nos ayudan a entrenar modelos grandes más rápido y a un costo más bajo. Estamos especialmente entusiasmados con la compatibilidad nativa con el redondeo estocástico BF16 en Trainium, ya que aumenta el rendimiento mientras que la precisión numérica es indistinguible de la precisión total. «

Eric Steinberger, cofundador y director ejecutivo, Magic

CACTUS tiene un conjunto de productos y soluciones para investigadores y organizaciones que mejora el financiamiento, publicación, difusión y descubrimiento de la investigación. 

«En Cactus Labs, aprovechamos el poder de la IA, con investigaciones centradas en el procesamiento, la clasificación y la recomendación del lenguaje natural, la IA conversacional, los modelos de lenguaje de gran tamaño, la visión artificial, AR/VR y XAI. En consonancia con nuestra búsqueda para habilitar un entrenamiento más rápido de los modelos de machine learning, así como permitir a nuestros investigadores llevar a cabo experimentos mientras administran los costos de infraestructura, nos encantó evaluar AWS Trainium. Las funciones listas para usar de AWS Trainium, como la optimización de XLA, el entrenamiento paralelo de datos para varios trabajadores y el almacenamiento en caché de gráficos, son muy útiles para reducir nuestros tiempos de entrenamiento y nos ayudan a realizar más experimentos de forma más rápida y económica. «

Nishchay Shah, director de tecnología y jefe de productos emergentes, Cactus Communication

Watashiha ofrece un servicio de chatbot de IA innovador e interactivo, OGIRI AI, que incorpora sentido del humor para ofrecer una respuesta divertida en el acto a una pregunta. 

«Usamos modelos de lenguaje grande para incorporar el humor y ofrecer una experiencia conversacional más relevante a nuestros clientes en nuestros servicios de IA. Esto nos obliga a preentrenar y ajustar estos modelos con frecuencia. Entrenamos previamente un modelo japonés basado en GPT en la instancia Trn1.32xlarge de EC2, en el cual aprovechamos el paralelismo de tensores y datos. El entrenamiento se completó en 28 días, con una reducción de costos del 33 % en comparación con nuestra infraestructura anterior basada en GPU. A medida que nuestros modelos siguen aumentando rápidamente en complejidad, esperamos contar con instancias de TRN1n que tengan el doble de ancho de banda de red que Trn1 para acelerar el entrenamiento de modelos más grandes. «

Yohei Kobashi, director técnico de Watashiha, K.K.

«En PyTorch, aceleramos la transición del aprendizaje automático desde la creación de prototipos de investigación hasta la producción lista para los clientes. Hemos colaborado ampliamente con el equipo de AWS para ofrecer soporte de PyTorch nativo para las nuevas instancias Trn1 de Amazon EC2 impulsadas por AWS Trainium que se diseñan específicamente para entrenar modelos de aprendizaje profundo. Los desarrolladores que se encargan de diseñar modelos de PyTorch pueden comenzar a entrenar en instancias Trn1 con cambios mínimos al código. Además, hemos trabajado con la comunidad de OpenXLA para habilitar bibliotecas distribuidas de PyTorch para facilitar la migración de modelos de instancias basadas en GPU a instancias Trn1. Estamos muy emocionados por la innovación que traerán las instancias Trn1 a la comunidad de PyTorch, incluidos tipos de datos más eficientes, formas dinámicas, operadores personalizados, redondeo estocástico optimizado para hardware y un modo de depuración ágil. Todo esto hace que Trn1 sea ideal para una amplia adopción por parte de los desarrolladores de PyTorch y esperamos recibir futuras contribuciones conjuntas a PyTorch para optimizar aún más el rendimiento del entrenamiento. «

Geeta Chauhan, IA aplicada, directora de ingeniería de PyTorch

«La misión de Hugging Face es democratizar el buen aprendizaje automático para ayudar a los desarrolladores de aprendizaje automático de todo el mundo a resolver problemas del mundo real. Y la clave para ello es garantizar que los mejores y más recientes modelos se ejecuten de la manera más rápida y eficiente posible en los mejores chips de ML de la nube. Estamos muy entusiasmados con la posibilidad de que Inferentia2 se convierta en la nueva forma estándar de implementar modelos de IA generativa a escala. Con Inf1, obtuvimos un costo hasta un 70 % menor al de las instancias tradicionales basadas en GPU, y con Inf2 hemos visto una latencia hasta 8 veces menor en los transformadores tipo BERT en comparación con Inferentia1. Con Inferentia2, nuestra comunidad podrá escalar fácilmente este rendimiento a los LLM con una escala de parámetros de más de 100 000 millones, y también a los últimos modelos de visión artificial y difusión. «

«Estamos capacitando modelos lingüísticos de gran tamaño (LLM) que son multimodales (texto e imagen), multilingües, multilocales, con formación previa para múltiples tareas y que abarcan múltiples entidades (productos, consultas, marcas, reseñas, etc.) para mejorar la experiencia de compra de los clientes. Las instancias Trn1 proporcionan una manera más sostenible de entrenar los LLM a la vez que ofrecen el mejor rendimiento por vatios en comparación con otras soluciones aceleradas de machine learning y nos ofrecen alto rendimiento a menor precio. Planeamos explorar el nuevo tipo de datos FP8 configurable y el redondeo estocástico acelerado por hardware para aumentar aún más la eficiencia de nuestra capacitación y la velocidad de desarrollo. «

Trishul Chilimbi, vicepresidente, Amazon Search