Kubeflow es una plataforma de código abierto diseñada para el aprendizaje automático y MLOps en Kubernetes, introducida inicialmente por Google. Proporciona una colección de componentes de software que corresponden a diferentes etapas de un ciclo de vida típico del aprendizaje automático, incluido el desarrollo de modelos, el entrenamiento, el servicio y el aprendizaje automático automatizado. Cada componente puede implementarse por separado, lo que permite a los usuarios adoptar solo las partes que necesitan en lugar de toda la plataforma.
La plataforma tiene como objetivo simplificar la implementación y gestión de sistemas de aprendizaje automático aprovechando Kubernetes para la orquestación, el escalado y la gestión de infraestructura. Admite una variedad de marcos y herramientas populares, lo que la convierte en una opción flexible tanto para entornos de investigación como de producción.
Historia
El proyecto Kubeflow se anunció por primera vez en KubeCon + CloudNativeCon North America 2017 por los ingenieros de Google David Aronchick, Jeremy Lewi y Vishnu Kannan. La iniciativa abordó una falta percibida de opciones flexibles para construir sistemas de aprendizaje automático listos para producción. El proyecto también comenzó como una forma de que Google publicara cómo ejecutaba TensorFlow internamente.
La primera versión, Kubeflow 0.1, se anunció en KubeCon + CloudNativeCon Europe 2018. Kubeflow 1.0 siguió en marzo de 2020, con una publicación de blog pública que anunciaba que muchos componentes habían alcanzado un "estado estable", lo que indicaba su preparación para uso en producción. En octubre de 2022, Google anunció que Kubeflow había solicitado unirse a la Cloud Native Computing Foundation (CNCF). La fundación votó para aceptar a Kubeflow como un proyecto en etapa de incubación en julio de 2023.
Componentes
Kubeflow Notebooks para el Desarrollo de Modelos
Los modelos de aprendizaje automático se desarrollan en el componente Kubeflow Notebooks. Este componente ejecuta entornos de desarrollo basados en web dentro de un clúster de Kubernetes, con soporte nativo para Jupyter Notebook, Visual Studio Code y RStudio. Permite a los científicos de datos trabajar en interfaces familiares mientras se benefician de los recursos del clúster.
Kubeflow Pipelines para el Entrenamiento de Modelos
Una vez desarrollados, los modelos se entrenan utilizando el componente Kubeflow Pipelines. Esta plataforma construye e implementa flujos de trabajo de aprendizaje automático portables y escalables basados en contenedores Docker. Google Cloud Platform ha adoptado el DSL de Kubeflow Pipelines dentro de su producto Vertex AI Pipelines, lo que demuestra su utilidad en entornos de nube.
Kubeflow Training Operator para el Entrenamiento de Modelos
Para ciertos modelos y bibliotecas de aprendizaje automático, el Kubeflow Training Operator proporciona recursos personalizados de Kubernetes. Ejecuta trabajos de entrenamiento distribuidos o no distribuidos para TensorFlow, PyTorch, Apache MXNet, XGBoost y MPI en Kubernetes. Este componente simplifica la orquestación de tareas de entrenamiento complejas.
KServe para el Servicio de Modelos
KServe, anteriormente llamado KFServing, proporciona recursos personalizados de Kubernetes para servir modelos de aprendizaje automático en marcos como TensorFlow, XGBoost, scikit-learn, PyTorch y ONNX. Fue desarrollado de manera colaborativa por Google, IBM, Bloomberg, NVIDIA y Seldon. Los adoptantes divulgados públicamente incluyen a Bloomberg, Gojek y la Fundación Wikimedia.
Katib para el Aprendizaje Automático Automatizado
Katib es un proyecto nativo de Kubernetes para el entrenamiento y desarrollo automatizado de modelos de aprendizaje automático. Cuenta con ajuste de hiperparámetros, detención temprana y búsqueda de arquitectura neuronal, lo que permite la optimización automatizada del rendimiento del modelo.
Cronología de Versiones
Kubeflow ha evolucionado a través de varias versiones desde su inicio. La versión inicial 0.1 en 2018 sentó las bases, y la versión 1.0 en 2020 marcó un hito para la preparación en producción. Las versiones posteriores han continuado refinando componentes y agregando características, con el proyecto obteniendo el estado de incubación de CNCF en 2023.
Adopción y Ecosistema
Kubeflow se utiliza en diversas industrias para flujos de trabajo de aprendizaje automático. Su integración con Kubernetes lo hace atractivo para organizaciones que ya utilizan orquestación de contenedores. El diseño modular de la plataforma permite a los equipos combinarlo con otras herramientas en el ecosistema de aprendizaje automático, como marcos de aprendizaje profundo y servicios de inteligencia artificial.