Nebius (NBIS.US) acquisisce la startup israeliana Inferize per rafforzare il business dell’intelligenza artificiale; il valore dell’operazione potrebbe arrivare fino a 150 milioni di dollari.

Secondo quanto riportato da Zhitong Finance APP, il fornitore di servizi di infrastruttura cloud AI Nebius (NBIS.US) ha annunciato l’acquisizione della startup israeliana di intelligenza artificiale Inferize, rafforzando ulteriormente le proprie capacità d’infrastruttura per l’inferenza AI. Inferize si concentra sulla riduzione dei tempi di inattività delle GPU (Graphic Processing Unit) e sull’accelerazione della distribuzione di modelli AI di grandi dimensioni. Secondo quanto stimato dal media tecnologico israeliano Calcalist, il valore dell’operazione è compreso tra 100 milioni e 150 milioni di dollari, anche se Nebius non ha rivelato i dettagli finanziari specifici.

Il fulcro di questa acquisizione risiede nell’aumentare l’efficienza dell’utilizzo delle risorse GPU, specialmente in condizioni di rapida variazione della domanda di inferenza AI, aiutando Nebius a riallocare rapidamente le risorse di calcolo e a ridurre i tempi di inattività delle costose apparecchiature di calcolo.

Puntare al collo di bottiglia dell’efficienza dell’inferenza AI Ridurre il tempo di inattività delle GPU

La tecnologia core di Inferize è principalmente indirizzata alla problematica del “cold start” nella fase di deploy dei modelli AI. Il cold start si riferisce al processo in cui, prima che un modello AI possa gestire le richieste degli utenti, deve essere caricato e inizializzato insieme alle risorse correlate. Quando viene avviata una nuova istanza di inferenza, la GPU potrebbe dover attendere il caricamento del modello prima di iniziare l’elaborazione, causando un breve tempo di inattività delle risorse.

Questa situazione è particolarmente evidente quando la domanda d’inferenza AI cresce improvvisamente. Con l’aumento delle richieste degli utenti, i fornitori di servizi cloud devono avviare rapidamente nuove istanze di inferenza, ma se il caricamento dei modelli richiede troppo tempo, le nuove risorse GPU non possono essere utilizzate immediatamente, influenzando la velocità di risposta dei servizi e l’efficienza complessiva dell’utilizzo della potenza computazionale.

La tecnologia di Inferize mira a ridurre questo tempo di attesa, consentendo alle risorse di inferenza aggiunte di entrare in funzione più velocemente e rendendo l’espansione della potenza di calcolo più coerente con le variazioni reali della domanda.

Per Nebius, ciò significa la possibilità di rispondere in modo più flessibile alle esigenze dei clienti, aumentando l’efficienza dell’uso dell’infrastruttura attuale senza la necessità di mantenere grandi quantità di GPU inattive come risorse di backup.

Danila Shtan, Chief Technology Officer di Nebius, ha dichiarato che per gestire efficacemente i servizi di inferenza AI non bastano GPU più veloci e modelli ottimizzati: tutto il sistema deve essere in grado di rispondere tempestivamente alle variazioni della domanda, fornendo rapidamente maggiore potenza di calcolo quando il cliente lo richiede. Ha sottolineato che Inferize non porta solo tecnologie che accelerano questo processo, ma anche un team di ingegneri di grande esperienza nei sistemi GPU.

Nebius prevede di integrare gli ingegneri di Inferize nel proprio team dedicato all’inferenza e di incorporare le relative tecnologie nella propria piattaforma d’inferenza AI, Token Factory, al fine di potenziare la capacità della piattaforma di rispondere alle richieste dei clienti e far sì che l’infrastruttura attuale gestisca un maggior numero di attività computazionali effettive.

Shtan ha anche sottolineato che il contributo del team di Inferize non si limiterà solo a questa fase iniziale di integrazione tecnologica.

Ridurre i costi delle risorse di backup Aumentare l’efficienza operativa dell’infrastruttura AI

Guy Bortnikov, cofondatore e CEO di Inferize, ha osservato che, per rispondere in qualsiasi momento alle richieste dei clienti, i fornitori di servizi cloud solitamente devono mantenere una certa quantità di GPU di riserva, che però comportano costi aggiuntivi anche quando sono in stand-by. Ha sottolineato che lo scopo della creazione di Inferize era proprio quello di ridurre questi costi, e che entrare a far parte di Nebius consente di applicare direttamente la tecnologia sviluppata ad una piattaforma operativa cloud AI reale.

Nell’ambito dell’inferenza AI, l’efficienza nella gestione delle risorse computazionali incide direttamente sui costi operativi dell’infrastruttura. Considerando l’elevato costo dei dispositivi GPU, se un’azienda deve mantenere a lungo grandi quantità di potenza di calcolo inattiva per far fronte a possibili picchi di domanda, questo può influire sul ritorno complessivo dell’investimento.

Accorciando i tempi di avvio dei modelli e accelerando la messa a disposizione delle risorse di calcolo, Nebius si attende di poter aumentare la flessibilità dei servizi diminuendo al contempo la dipendenza dalla capacità GPU di backup.

Vale la pena notare che Bortnikov in passato ha anche cofondato Granulate, una società di software per l’ottimizzazione delle infrastrutture di calcolo, specializzata nello sviluppo di tecnologie per migliorare l’efficienza delle risorse computazionali, acquisita da Intel (INTC.US) nel 2022. Questo background riflette l’esperienza del team di Inferize nell’ottimizzazione delle infrastrutture di calcolo.

Acquisizione continua di aziende AI Nebius rafforza la piattaforma di inferenza

L’acquisizione di Inferize fa parte di una serie di acquisizioni recenti compiute da Nebius nel settore dell’inferenza AI e dell’ottimizzazione dei modelli. In precedenza, Nebius aveva già acquisito Eigen AI, per un valore di 643 milioni di dollari. Inoltre, di recente ha acquistato la società tecnologica AI Clarifai, anche se non sono stati svelati i dettagli finanziari dell’operazione.

Tutte queste operazioni mirano a rafforzare le capacità di Nebius nell’inferenza AI e nell’ottimizzazione dei modelli, perfezionando ulteriormente i propri servizi di infrastruttura AI.

Diversamente dagli investimenti infrastrutturali che si concentrano principalmente sulla potenza necessaria per l’addestramento dei modelli AI, l’inferenza AI punta maggiormente sull’efficienza operativa dei modelli una volta in uso, incluso la velocità di elaborazione delle richieste, la gestione delle risorse computazionali, la distribuzione dei modelli e il costo per unità di potenza di calcolo.

Con la costante integrazione delle tecnologie correlate, Nebius sta estendendo la propria presenza dal semplice fornire risorse di calcolo GPU allo sviluppo di tecnologie e servizi per aumentare l’efficienza operativa dei modelli AI.

L’acquisizione di Inferize andrà ulteriormente a integrare le competenze tecnologiche di Nebius in termini di gestione dinamica della potenza computazionale e distribuzione rapida dei modelli. Tuttavia, resta da vedere in che misura questa integrazione tecnologica porterà effettivi risparmi sui costi e miglioramenti di efficienza, dato che questi risultati saranno confermati solo dalle prestazioni operative future.