Google lancia tre nuove opzioni di cloud storage: Cloud Storage FUSE, Parallelstore, NetApp Volumes

InfoQ Homepage Novità Google lancia tre nuove opzioni di cloud storage: Cloud Storage FUSE, Parallelstore, NetApp Volumes

29 agosto 2023 2 minuti di lettura

di

Steef-Jan Wiggers

Google ha recentemente lanciato tre nuove opzioni di archiviazione sul cloud: Cloud Storage FUSE per applicazioni di intelligenza artificiale (AI) che richiedono la semantica del file system, un file system parallelo Parallelstore per applicazioni AI e HPC esigenti che utilizzano GPU e NetApp Volumes per le applicazioni aziendali in esecuzione nel cloud. .

Cloud Storage FUSE era già disponibile come versione open source, consentendo l'accesso agli oggetti nei bucket Cloud Storage come file montati come file system locale. L'azienda lo ha migliorato con nuovi livelli di portabilità, affidabilità, prestazioni e integrazione destinati ai carichi di lavoro AI. In un post sul blog di Google, gli autori Marco Abela, product manager, e Akshay Ram, senior product manager di Google, spiegano:

Il nuovo Cloud Storage FUSE è particolarmente importante per i carichi di lavoro AI. Poiché le applicazioni possono accedere ai dati direttamente (anziché scaricarli localmente), non esiste una logica personalizzata da implementare e si riducono i tempi di inattività per risorse preziose come TPU e GPU mentre i dati vengono copiati. Inoltre, un nuovo driver CSI Cloud Storage FUSE per Google Kubernetes Engine (GKE) consente alle applicazioni di montare Cloud Storage utilizzando la familiare API Kubernetes ed è offerto come distribuzione chiavi in ​​mano gestita da GKE.

Panoramica di Cloud Storage FUSE (fonte: post del blog di Google)

JW Davis, un sostenitore del cloud, ha commentato la disponibilità dei file system FUSE in GKE in un tweet:

Ciò sembra destinato a molti disastri. Utile per una gamma molto ristretta di casi d'uso; la maggior parte ne farà cattivo uso e soffrirà.

Oltre a Cloud Storage FUSE per applicazioni AI, l'azienda annuncia un'anteprima privata di un file system parallelo chiamato Parallelstore che aiuta gli utenti a smettere di sprecare preziose risorse GPU e, allo stesso tempo, attendono l'I/O di storage fornendo un servizio ad alte prestazioni soluzione di storage di file parallela per carichi di lavoro AI/ML e HPC. La soluzione si basa sull'architettura Intel Distributed Asynchronous Object Storage (DAOS) di nuova generazione.

Sameet Agarwal, VP/GM, Storage, e Sean Derrington, product manager del gruppo, Storage, spiegano in un post sul blog di Google le nuove opzioni di archiviazione cloud:

Basati sull'architettura Intel DAOS di prossima generazione, tutti i nodi di elaborazione in un ambiente Parallelstore hanno uguale accesso allo storage, in modo che le VM possano ottenere accesso immediato ai propri dati. Con prestazioni di throughput in lettura fino a 6,3 volte superiori rispetto alle offerte della concorrenza Lustre Scratch, Parallelstore è particolarmente adatto per applicazioni basate su cloud che richiedono prestazioni estremamente elevate (IOPS e throughput) e latenza ultra bassa.

Infine, la terza nuova opzione di archiviazione cloud è NetApp Volumes, un servizio di archiviazione file ad alte prestazioni completamente gestito da Google. Questa opzione di storage è progettata per le aziende che desiderano migrare le proprie applicazioni sugli array di storage NetApp on-premise nel cloud. Il servizio offre la possibilità di aumentare i volumi da 100GiB a 100TiB per la massima scalabilità, implementare la gestione dei dati ONTAP per carichi di lavoro ibridi ed eseguire applicazioni Windows o Linux come macchine virtuali senza refactoring.

Alla domanda di InfoQ su cosa sta guidando questo investimento da parte di Google, ecco cosa ha detto Derrington:

Poiché l’intelligenza artificiale è diventata determinante nell’automazione della gestione dei dati, le organizzazioni si rivolgono al cloud per fornire la giusta soluzione di storage per la giusta applicazione. Con le nuove offerte di archiviazione ottimizzate per l'intelligenza artificiale di Google Cloud, Cloud Storage FUSE e Parallelstore, aiutiamo i clienti ad adattarsi a carichi di lavoro complessi di intelligenza artificiale offrendo soluzioni di archiviazione su misura che semplificano le operazioni, sbloccano l'innovazione, riducono i costi e altro ancora.