Storm Reply migliora le prestazioni LLM con le istanze EC2 C7i e Intel® oneAPI

Storm Reply, leader nelle soluzioni cloud, ha scelto le istanze Amazon EC2 C7i, supportate dai processori Intel® Xeon® di quarta generazione, per ottimizzare i suoi grandi modelli linguistici (LLM). Sfruttando gli strumenti Intel® oneAPI, Storm Reply ha raggiunto prestazioni equivalenti a quelle delle soluzioni GPU, ottimizzando al contempo i costi.

Storm Reply è specializzata nell’accompagnamento dei propri clienti nella distribuzione di soluzioni d’intelligenza artificiale generativa e di grandi modelli linguistici (LLM). Per soddisfare le esigenze di una grande azienda del settore energetico, Storm Reply ha dovuto trovare una soluzione di hosting economica e ad alta disponibilità per i suoi carichi di lavoro LLM.

Dopo un’analisi approfondita, Storm Reply ha optato per le istanze Amazon EC2 C7i, alimentate da processori Intel® Xeon® Scalable di quarta generazione. Questa infrastruttura si è rivelata ideale per gli LLM, grazie all’integrazione delle librerie Intel e del framework Intel® GenAI.

Grazie alle ottimizzazioni di Intel® Extension for PyTorch e oneAPI Toolkit, Storm Reply è riuscita non solo a migliorare le prestazioni dei suoi modelli, ma anche a ridurre notevolmente i costi. I test hanno dimostrato che l’inferenza LLM con i processori scalabili Intel Xeon raggiunge un tempo di risposta di 92 secondi, rispetto ai 485 secondi senza le ottimizzazioni Intel. I risultati di Storm Reply dimostrano che questa soluzione CPU rivaleggia con gli ambienti GPU in termini di rapporto prezzo-prestazioni.

Le istanze EC2 C7i consentono a Storm Reply di offrire ai clienti soluzioni IA robuste, garantendo al contempo l’ottimizzazione delle risorse e dei costi.

Per vedere l’articolo completo, clicca qui.