Cómo Galileo promovió un prototipo
de su solución en la nube
Galileo,“La API de Datos para ML”, necesita llevar un prototipo de su solución a la nube. Elegimos un conjunto de servicios de AWS para trabajar juntos e integrar código en Java, una biblioteca de Python y un sitio web de demostración escrito en JavaScript con un backend en Java.
Sobre Galileo
Galileo es “La API de Datos para ML”. Ofrecen una capa de abstracción para modelos de ML utilizando una biblioteca de Python. Este servicio está dirigido a empresas de desarrollo que desean crear productos de aprendizaje automático sin necesidad de escribir los modelos por sí mismas.
Desafíos de Galileo
El producto de Galileo se encontraba en una etapa muy temprana. Galileo validó técnicamente su producto en instancias locales pequeñas de Hadoop. Su desafío era llevar ese prototipo y hacerlo listo para producción en una plataforma confiable y rentable para sus futuros clientes.
Entre los desafíos técnicos, podemos mencionar que necesitan proporcionar acceso a Jupyter Notebooks que se puedan conectar a un clúster de Hadoop con la biblioteca de Galileo instalada, además de que el núcleo de la biblioteca está escrito en Java (aunque está diseñado para ser utilizado desde Python).
¿Por qué AWS?
Se eligió AWS porque podemos desplegar la biblioteca de Galileo rápidamente en un clúster de EMR, implementar los componentes centrales como contenedores en EKS y hacer que todo el sistema escale según sea necesario. Además, contar con capacidades de balanceo de carga contribuye a que la implementación sea más sencilla.
Nuestra solución
Galileo necesitaba resolver diferentes problemas:
-
Las bibliotecas no estaban contenedorizadas. El primer trabajo fue crear Dockerfiles para generar imágenes y subirlas a EMR para poder ejecutarlas en EKS.
-
Migrar una base de datos Cassandra, que es una parte integral de la biblioteca y del sitio de demostración, a Amazon Keyspaces.
-
Crear un clúster de Amazon EMR para ejecutar demostraciones y proporcionar notebooks a potenciales clientes. Aquí diseñamos cuidadosamente políticas y roles para que el acceso a los notebooks de EMR pudiera ser otorgado a los clientes sin poner en peligro la implementación y los datos de otros clientes.
Ahora, el cliente puede proporcionar a sus potenciales clientes un conjunto de credenciales para iniciar sesión en los notebooks de EMR, permitiéndoles probar la biblioteca de Galileo con todo el poder de EMR y sin riesgos de seguridad.
A continuación, un diagrama de arquitectura:
Próximos pasos
El beneficio más importante para el cliente es que ahora pueden realizar demostraciones a potenciales clientes con un sistema en vivo, sin necesidad de instalar nada localmente. Esto permitirá a Galileo comenzar a vender sus servicios y plataforma.
¿Cómo trabajamos?
Somos Advanced Services Partner de AWS. Creado por expertos en la nube certificados, con una amplia experiencia en la migración y el despliegue de startups, empresas y todo lo que hay en medio hacia la nube. Hemos trabajado con compañías de diversas industrias, como aerolíneas, salud, educación y comercio electrónico, diseñando, implementando y gestionando cargas de trabajo en la nube con arquitectura de alta disponibilidad bajo un SLA de tiempo de actividad del 99.9% y requisitos de cumplimiento de PCI/HIPAA.
​
Nuestra experiencia abarca desde el diseño de arquitecturas en la nube de última generación hasta el despliegue y la gestión de entornos en la nube a través de Servicios Gestionados, incluyendo Consultoría de AWS, Arquitectos, DevOps, DevSecOps, MLOps, Soporte 24/7, Automatización, Recuperación ante Desastres y Seguridad. Proporcionamos soluciones seguras, escalables y altamente disponibles para nuestros clientes.
Hablemos
Escala tu negocio sin límites
