Storm Reply améliore ses performances LLM grâce aux instances EC2 C7i et Intel® oneAPI

Storm Reply, leader en solutions cloud, a choisi les instances Amazon EC2 C7i, soutenues par les processeurs Intel® Xeon® de 4ème génération, pour optimiser ses grands modèles de langage (LLM). En exploitant les outils Intel® oneAPI, Storm Reply a atteint des performances équivalentes à celles des solutions GPU, tout en optimisant les coûts.

Storm Reply se spécialise dans l’accompagnement de ses clients dans le déploiement de solutions d’intelligence artificielle générative et de grands modèles de langage (LLM). Pour répondre aux besoins d’une grande entreprise du secteur de l’énergie, Storm Reply a dû trouver une solution d’hébergement économique et à haute disponibilité pour ses charges de travail LLM.

Après une analyse approfondie, Storm Reply a opté pour les instances Amazon EC2 C7i, alimentées par des processeurs Intel® Xeon® Scalable de 4ème génération. Cette infrastructure s’est avérée idéale pour les LLM, notamment grâce à l’intégration des bibliothèques Intel et du framework Intel® GenAI.

Grâce aux optimisations de l’Intel® Extension for PyTorch et à oneAPI Toolkit, Storm Reply a pu non seulement améliorer les performances de ses modèles, mais aussi réduire considérablement les coûts. Les tests ont montré que l’inférence LLM avec les processeurs Intel Xeon Scalable atteignait un temps de réponse de 92 secondes, contre 485 secondes sans les optimisations Intel. Les résultats de Storm Reply démontrent que cette solution CPU rivalise avec des environnements GPU en termes de rapport prix-performance.

Les instances EC2 C7i permettent ainsi à Storm Reply d’offrir à ses clients des solutions d’IA robustes, tout en garantissant une optimisation des ressources et des coûts.

Pour voir l’article dans son intégralité, cliquez-ici.