Pour vous aider à exécuter des charges de travail d'IA/ML de démonstration de faisabilité, cette page présente les tutoriels AI Hypercomputer qui décrivent le processus complet de déploiement de modèles d'IA courants sur les produits Google Cloud .
Ces tutoriels sont destinés aux ingénieurs en machine learning (ML), aux chercheurs, aux administrateurs et opérateurs de plate-forme, ainsi qu'aux spécialistes des données et de l'IA. Ces tutoriels supposent que vous possédez des connaissances de base sur les concepts de ML et que vous maîtrisez les services Google Cloud , l'orchestration de conteneurs et la gestion de clusters.
Catégories de tutoriels
Les tutoriels sur les charges de travail d'IA sont organisés dans les catégories suivantes :
- Exécuter l'inférence avec vLLM et SGLang sur GKE : déployez et diffusez des grands modèles de langage (LLM) pour l'inférence à l'aide des frameworks de diffusion vLLM et SGLang sur Google Kubernetes Engine (GKE).
- Exécuter l'affinage de LLM sur GKE et Slurm : affinez les LLM pour des tâches spécifiques sur des clusters GKE et Slurm à l'aide de frameworks distribués tels que Hugging Face Accelerate, PyTorch Fully Sharded Data Parallel (FSDP) et Ray.
- Exécuter l'entraînement de LLM sur des clusters Slurm : entraînez et pré-entraînez des LLM sur des clusters Slurm multinœuds à l'aide de Cluster Toolkit et de Hugging Face Accelerate.
Exécuter l'inférence avec vLLM et SGLang sur GKE
Ces tutoriels expliquent comment déployer et diffuser des LLM pour l'inférence à l'aide des frameworks de diffusion vLLM et SGLang sur GKE. Vous apprendrez à utiliser les fonctionnalités d'orchestration de conteneurs de GKE pour des charges de travail d'inférence efficaces. Ces tutoriels expliquent comment accéder aux modèles à l'aide de Hugging Face, configurer des clusters GKE (par exemple, en mode Autopilot), gérer les identifiants et déployer des conteneurs vLLM ou SGLang pour interagir avec des LLM tels que Gemma 4, Gemma 3, Llama 4 et Qwen3.
Exécuter l'affinage de LLM sur GKE et Slurm
Ces tutoriels expliquent comment affiner les LLM pour des tâches spécifiques sur différents types de clustersGoogle Cloud , y compris GKE et Slurm. Par exemple, vous pouvez affiner Gemma 3 sur des clusters GKE multinœuds et multi-GPU (par exemple, en utilisant des instances de VM A4 avec des GPU NVIDIA B200) et des clusters Slurm. Vous créez des images de VM personnalisées, configurez des réseaux RDMA et exécutez des jobs d'affinage distribués à l'aide de Hugging Face Accelerate et FSDP pour les tâches textuelles, ou du framework Ray pour les tâches de vision multimodale.
Exécuter l'entraînement de LLM sur des clusters Slurm
Ces tutoriels expliquent comment entraîner ou pré-entraîner des LLM sur des clusters hautes performances. Par exemple, vous apprendrez à pré-entraîner des modèles comme Qwen2 sur des clusters Slurm à nœuds et GPU multiples avec des machines virtuelles A4. Vous allez déployer des clusters Slurm à l'aide de Google Cloud Cluster Toolkit, créer des images de VM personnalisées, configurer des instances Filestore partagées, configurer un réseau RDMA à haut débit et exécuter des jobs de pré-entraînement distribués avec Hugging Face Accelerate.
Étapes suivantes
Découvrez les tutoriels sur AI Hypercomputer :
- Diffuser Qwen3-Coder-480B avec SGLang TorchTPU multi-hôte sur TPU7x
- Diffuser Qwen3.5-397B avec vLLM TorchTPU multi-hôte sur TPU7x
- Diffuser Gemma 4 26B avec vLLM TorchTPU multi-hôte sur des TPU Trillium
- Diffuser Qwen3.5-397B avec vLLM TorchTPU sur TPU7x
- Affiner Gemma 4 sur un cluster GKE A4 multi-hôte
- Affiner Gemma 4 sur un cluster GKE A4
- Exécuter l'entraînement par RL multi-hôte pour Gemma 4 26B sur TPU v6e
- Exécuter le SFT pour Gemma 4 31B sur un TPU v6e multi-hôte
- Exécuter l'entraînement RL multi-hôte pour Qwen3-30B-A3B sur TPU v6e
- Affiner Gemma 3 sur un cluster GKE A4 multi-hôte
- Exécuter l'entraînement par RL sur une VM TPU v6e-8
- Exécuter un réglage supervisé sur une VM TPU avec MaxText