Storm Reply verbessert die LLM-Leistung mit EC2 C7i und Intel® oneAPI

Storm Reply, der führende Anbieter von Cloud-Lösungen, hat sich für Amazon EC2 C7i-Instanzen entschieden, die auf Intel® Xeon® Prozessoren der 4. Generation basieren, um seine Large Language Models (LLM) zu optimieren. Durch die Nutzung der Intel® oneAPI-Tools erreichte Storm Reply eine Leistung, die mit GPU-Lösungen vergleichbar ist und gleichzeitig die Kosten optimiert.

Storm Reply ist spezialisiert auf die Unterstützung seiner Kunden bei der Bereitstellung von generativen KI-Lösungen und großen Sprachmodellen (LLM). Um den Anforderungen eines großen Unternehmens im Energiesektor gerecht zu werden, musste Storm Reply eine kostengünstige und hochverfügbare Hosting-Lösung für seine LLM-Workloads finden.

Nach einer gründlichen Analyse entschied sich Storm Reply für die Amazon EC2 C7i-Instanzen, die von der vierten Generation der skalierbaren Intel® Xeon® Prozessoren angetrieben werden. Diese Infrastruktur hat sich als ideal für LLM erwiesen, insbesondere durch die Integration von Intel-Bibliotheken und dem Intel® GenAI-Framework.

Dank der Optimierungen der Intel® Extension for PyTorch und des oneAPI Toolkit konnte Storm Reply nicht nur die Leistung seiner Modelle verbessern, sondern auch die Kosten erheblich senken. Tests haben gezeigt, dass die LLM-Inferenz mit skalierbaren Intel Xeon Prozessoren eine Reaktionszeit von 92 Sekunden erreicht hat, verglichen mit 485 Sekunden ohne Intel Optimierungen. Die Ergebnisse von Storm Reply zeigen, dass diese CPU-Lösung mit GPU-Umgebungen in Bezug auf das Preis-Leistungs-Verhältnis konkurriert.

Die EC2 C7i-Instances ermöglichen es Storm Reply, seinen Kunden robuste KI-Lösungen anzubieten und gleichzeitig eine Optimierung von Ressourcen und Kosten zu gewährleisten.

Klicken Sie hier, um den vollständigen Artikel zu sehen.