Caso de cliente – Peter Chaplin, cofundador, Datazag
La mayoría de los datos sobre amenazas llegan después de que comienza el ataque. Datazag aparece mientras los atacantes todavía preparan su infraestructura.
Es una decisión de ingeniería que determina cómo trabaja la empresa, qué infraestructura necesita y por qué los costos predecibles tienen tanta importancia al medir todo internet, día y noche.
Qué hace Datazag
Datazag rastrea la infraestructura detrás de los dominios de internet: quién los aloja, quién administra su correo, cómo están protegidos y cómo cambia todo con el tiempo. El sistema contiene más de 411 millones de dominios. Más de 360 millones resuelven actualmente. Los demás están estacionados, vencieron o nunca se configuraron correctamente, por lo que Datazag rastrea el conjunto completo y centra la resolución en los dominios que responden.
Esos datos alimentan a proveedores de seguridad administrada, aseguradoras de riesgos cibernéticos, proveedores de correo electrónico y equipos de seguridad empresarial. Algunos los usan como feeds de alertas dentro de sus herramientas de seguridad. Otros los usan como informes de riesgo para la cartera de dominios de una empresa. También pueden cargarlos directamente en Snowflake, Databricks o DuckDB y combinarlos con sus propios datos.
También está el Observatorio de Datazag, una fuente gratuita y pública de investigaciones sobre el funcionamiento real de los dominios, el correo electrónico y el hosting en internet.
El origen de la idea
Todo comenzó con el correo electrónico. Peter tiene experiencia administrando infraestructura de envío de correo, donde aprendes rápidamente que el DNS de un dominio revela mucho sobre quién está detrás y qué planea hacer.
La mayoría de los datos sobre amenazas son reactivos. Informan sobre infraestructura que ya se usó en un ataque. Datazag quería detectar la etapa de preparación: el registro del dominio, la emisión del certificado y la configuración de los registros de correo. Para hacerlo correctamente, necesitaba medir todo internet por cuenta propia en lugar de depender del feed de otra empresa.
Cómo se ven 3 millones de consultas por hora
No todos los dominios requieren la misma atención. Los dominios nuevos y de mayor riesgo se revisan diariamente durante sus primeros 30 días, incluso más tiempo si cambian. El conjunto completo se actualiza en un ciclo continuo de dos meses. La mayoría de los dominios cambia poco de un mes a otro, así que Datazag almacena los cambios en lugar de cada observación. Así mantiene un historial compacto y permite localizar los cambios con facilidad.
La carga de trabajo se ejecuta en un grupo de servidores de procesamiento alimentados mediante colas. Las tareas se dividen por urgencia: los dominios recién detectados y las revisiones prioritarias pasan al frente, las actualizaciones rutinarias ocupan la capacidad restante y las consultas fallidas van a una cola de reintentos separada para no retrasar las demás tareas. Un grupo más pequeño de servidores administra el data lake, y cada servidor se encarga de una etapa específica del procesamiento.
La recopilación y el procesamiento se mantienen separados de forma deliberada. Una tarea de análisis pesada nunca debe ralentizar la detección en vivo.
La ventana de 10 segundos
Cada certificado de sitio web con confianza pública se registra en los logs públicos de Certificate Transparency. Datazag lee esos logs directamente a medida que aparecen los certificados. Cuando un dominio nuevo parece suplantar a una marca o plataforma, por ejemplo, mediante una página de inicio de sesión falsa, se resuelve de inmediato y se revisa continuamente hasta que entra en funcionamiento.
El objetivo es emitir una alerta unos 10 segundos después de que el dominio comience a resolver.
La velocidad importa porque las campañas de phishing son breves. Un dominio puede usarse durante unas horas. Si las herramientas de seguridad de un cliente lo bloquean antes de que llegue el primer correo malicioso, el ataque falla. Recibir el aviso un día después ya es demasiado tarde.
El problema de la infraestructura con precios por consumo
Datazag comenzó en una importante nube pública con servicios administrados. La puesta en marcha fue rápida, pero el modelo dejó de funcionar al escalar la operación a cientos de millones de dominios.
Monitorear la infraestructura de internet difiere de ejecutar una aplicación convencional. La carga de trabajo no se detiene cuando los clientes dejan de usar el producto. Los registros DNS deben actualizarse, la infraestructura nueva requiere investigación y los grandes conjuntos de datos necesitan procesamiento continuo. Con precios por consumo, cada mejora en la cobertura o la frecuencia de actualización exigía calcular un costo nuevo.
«Queríamos una arquitectura que nos permitiera ampliar continuamente lo que observamos sin que los costos aumentaran en proporción directa con cada consulta adicional. La capacidad de cómputo predecible nos da libertad para recopilar más señales, actualizar los datos con mayor frecuencia y probar métodos nuevos. Al final, nuestros clientes reciben mejores datos sobre amenazas.»
El resultado es una estrategia de infraestructura que usa cómputo dedicado para la recopilación y el procesamiento continuos, junto con servicios cloud para el almacenamiento, la distribución y el acceso de los clientes.
Por qué Contabo
Para Datazag, la decisión se basó en costos predecibles, rendimiento y capacidad para escalar una operación de recopilación distribuida que procesa alrededor de 3 millones de consultas DNS por hora.
Desde que adoptó Contabo, Datazag pasó de monitorear unos cientos de miles de dominios a rastrear cientos de millones. La infraestructura respaldó ese crecimiento sin que los costos se interpusieran. Ahora la empresa planea replicar su despliegue en un segundo centro de datos de Contabo para aumentar la capacidad y reforzar la resiliencia.
El beneficio va más allá de reducir el gasto en infraestructura. Datazag puede destinar más recursos a lo que importa para sus clientes: mayor cobertura, datos más recientes y detección más rápida.
Qué cambió
Cuando Datazag comenzó, procesaba entre 100,000 y 200,000 dominios. Hoy mapea todo internet con una cobertura superior al 90% de los dominios y sus registros DNS. Los costos y la capacidad de actualizar datos continuamente son mucho menores que con otros proveedores. Mientras algunos competidores trabajan con ciclos por lotes semanales o mensuales, Datazag actualiza sus datos a diario.
La diferencia operativa es considerable. En inteligencia de amenazas, la distancia entre una actualización diaria y una semanal determina si detectas un ataque o lees sobre él después.
Qué sigue
Los conjuntos de datos de Datazag llegarán a los marketplaces de Snowflake y Databricks, para que las organizaciones puedan combinarlos con sus propios datos sin sacarlos de su entorno. Los feeds de alertas ya se entregan en Microsoft Sentinel y hay más integraciones en desarrollo.
El área de investigación también está creciendo. Este mes, Datazag publicó «¿Quién administra realmente el correo empresarial?«, un análisis de cómo las empresas más grandes del mundo administran su correo electrónico en comparación con el resto de internet.
Internet sigue creciendo. Datazag sigue observando.
Si administras infraestructura de datos a gran escala y buscas costos que no aumenten cada vez que haces más, consulta nuestros planes de servidores. También puedes conocer el trabajo de Datazag en datazag.com y observatory.datazag.com.
¿Quieres aparecer aquí? Siempre buscamos clientes que desarrollen proyectos interesantes con infraestructura Contabo. Ponte en contacto.
