Gestione eterogenea
Gestisci e pianifica GPU, NPU, MLU e altri acceleratori in un unico workflow.
CNCF: IncubatingLatest Release: v2.9.0
Condivisione eterogenea di GPU su Kubernetes
HAMi è un middleware di virtualizzazione GPU open-source e cloud-native che porta condivisione, isolamento e scheduling di acceleratori eterogenei ai workload AI su Kubernetes.
Slicing (suddivisione) della GPUAcceleratori eterogeneiScheduling nativo di Kubernetes
Workload AI
LLM
ML
HPC
Ecosistema di scheduling di Kubernetes
Virtualizzazione • Condivisione • Isolamento • Scheduling
GPU
1/2
1/4
1/N
Acceleratori eterogenei
e altri...
Progetto in incubazione CNCF
HAMi è un progetto in incubazione CNCF
HAMi è un progetto in incubazione della Cloud Native Computing Foundation (CNCF), presente sia nell'ecosistema CNCF sia in quello CNAI.
Perché usare HAMi
Isolamento forte
Suddividi la memoria e il calcolo con precisione grazie all'isolamento forte a runtime.
Scheduling avanzato
Usa policy di binpack, spread e topology-aware per un posizionamento migliore.
Kubernetes Native
Lavora con le API di Kubernetes, DRA e CDI per un'adozione più semplice.
Isolamento delle risorse e QoS
Controlla le quote di memoria e core per una condivisione più equa e stabile.
Monitoraggio unificato
Fornisci metriche coerenti e visibilità tra i vari produttori di dispositivi.
Architettura e funzionamento
Dalla richiesta all'isolamento, HAMi trasforma lo slicing (suddivisione) della GPU e lo scheduling eterogeneo in percorsi di runtime utilizzabili per Kubernetes.
Meccanismo di runtime di HAMi
PodSpec + Device Plugin / DRA + CDI
Control Plane
Percorso decisionaleData Plane
Percorso di esecuzionenvidia.com/gpu+gpumem/gpucoresConfronto prima e dopo l'uso di HAMi
Confronta l'allocazione tradizionale dell'intera GPU con la condivisione GPU di HAMi a parità di workload.
Ecosistema e supporto dispositivi
Ampio ecosistema di acceleratori tra vari produttori. Consulta la documentazione per la matrice di supporto completa.
Compatibile con HAMi
HAMi si integra con questi scheduler open-source, livelli di accodamento e piattaforme cloud, sia come livello di dispositivo incorporabile sia a livello di scheduling.
Chi usa HAMi
Le organizzazioni seguenti stanno valutando o utilizzando HAMi in ambienti di produzione.
Unisciti all'elenco di chi usa il progetto
Invia la tua organizzazione seguendo la procedura della guida per i contributori.
Vedi le istruzioni per l'invio →Contributori
HAMi si sviluppa grazie ai contributori della community e dell'industria. Queste organizzazioni partecipano attivamente allo sviluppo del progetto e alla collaborazione dell'ecosistema.
Metriche della community globale
Una panoramica in tempo reale della crescita della community di HAMi e del suo slancio open source.
