Más información sobre las predicciones en línea

Vertex AI ofrece predicciones en línea en Google Distributed Cloud (GDC) con aislamiento de aire a través de la API de Online Prediction. Una predicción es el resultado de un modelo de aprendizaje automático entrenado. Específicamente, las predicciones en línea son solicitudes síncronas realizadas en el extremo de tu modelo.

La predicción en línea te permite subir, implementar, entregar y realizar solicitudes con tus propios modelos de predicción en un conjunto de contenedores compatibles. Usa la predicción en línea cuando realices solicitudes en respuesta a la entrada de la aplicación o en situaciones en las que se necesite una inferencia oportuna.

Puedes usar la API de Prediction en línea si aplicas recursos personalizados de Kubernetes al clúster de predicción dedicado que crea tu operador de infraestructura (IO).

Antes de obtener predicciones en línea, debes exportar los artefactos del modelo y luego, implementarlo en un extremo. Esta acción asocia los recursos de procesamiento al modelo para entregar predicciones en línea con baja latencia.

Luego, puedes obtener predicciones en línea de un modelo entrenado personalizado si le das formato a una solicitud y la envías.

Imágenes de contenedor disponibles

En la siguiente tabla, se incluye la lista de contenedores compatibles con la predicción en línea en Distributed Cloud:

Framework de AA	Versión	Aceleradores compatibles	Imágenes compatibles
TensorFlow	2.18	CPU	tf2-cpu.2-18
		GPU	tf2-gpu.2-18
PyTorch	2.4	CPU	pytorch-cpu.2-4
		GPU	pytorch-gpu.2-4
	2.1 (OBSOLETO)	CPU	pytorch-cpu.2-1
		GPU	pytorch-gpu.2-1