El Contexto (El Estado “Pesadilla”)
El cliente, una empresa FinTech del Fortune 500, tenía un enfoque fragmentado hacia la IA Generativa.
- Acceso fragmentado: 12 equipos de producto diferentes compraban sus propias claves API de OpenAI, lo que generaba cero visibilidad sobre el gasto agregado o los patrones de uso.
- Riesgos de seguridad: Los desarrolladores hardcodeaban las claves API en ficheros
.envy las commiteaban en repositorios internos. No existían filtros de contenido para PII (Información de Identificación Personal). - Ineficiencia operativa: Integrar un nuevo microservicio para usar LLMs requería 3 semanas de tickets en Jira y revisiones de seguridad.
Necesitaban una forma de democratizar el acceso a los mejores modelos (OpenAI, Anthropic) aplicando estrictamente controles de seguridad, cumplimiento y costes.
La Arquitectura
Los migramos de una “malla” de conexiones directas a un modelo “Hub and Spoke”.
Antes:
- Cada servicio se conectaba directamente a los proveedores externos.
- Sin registro centralizado.
- Sin lógica estándar de reintentos y fallback.
Después (El Camino Dorado):
- Proxy de tráfico: Todo el tráfico LLM fluye a través de un clúster de AI Gateway localizado (desplegado en Kubernetes).
- Federación de identidades: La autenticación se gestiona mediante el SSO corporativo existente, mapeado a roles IAM para crear presupuestos por “equipo”.
- Aplicación de políticas: El tráfico se inspecciona antes de salir del perímetro. Los patrones regex bloquean números de tarjetas de crédito y PII.
La Implementación
Desplegamos una configuración personalizada de un AI Gateway integrado con su Plataforma Interna de Desarrollo (Backstage).
1. El Stack
- Gateway: Proxy de alto rendimiento personalizado escrito en Go, desplegado como sidecar o servicio independiente.
- Portal: Plugin de Backstage para aprovisionar claves API y visualizar el uso.
- Observabilidad: Prometheus para métricas (conteo de tokens, latencia) y Datadog para trazabilidad.
2. El Hack: Caché Semántica
La mayor ganancia llegó de implementar Caché Semántica. Detectamos que el 30% del tráfico interno de los desarrolladores era repetitivo (probando los mismos prompts contra los mismos modelos).
Implementamos una caché semántica respaldada por Redis que intercepta estas peticiones. Si se ha visto recientemente un prompt similar (similitud coseno > 0,95), el gateway devuelve la respuesta cacheada al instante.
- Resultado: Reducción del 30% en el tráfico a OpenAI.
- Latencia: Reducida de ~2,5s a <50ms en aciertos de caché.
Los Resultados
| Métrica | Antes | Después |
|---|---|---|
| Coste de tokens | $50k/mes (sin control) | $30k/mes (limitado y optimizado) |
| Tiempo de onboarding | 3 semanas | 5 minutos (Autoservicio) |
| Incidentes de seguridad | 2 fugas potenciales | 0 (Bloqueadas por filtro PII) |
| Observabilidad | Ninguna | Dashboard en tiempo real por equipo |
Conclusión
Al tratar el acceso a la IA como infraestructura en lugar de solo como una clave API, permitimos a la organización escalar sus iniciativas de GenAI de forma segura. El foco pasó de “¿Cómo consigo una clave API?” a “¿Cómo construyo el mejor prompt?”