Customer Story- Peter Chaplin, Mitgründer, Datazag
Die meisten Threat-Intelligence-Daten treffen ein, nachdem der Angriff begonnen hat. Datazag ist bereits während der Vorbereitung zur Stelle.
Dahinter steht eine technische Entscheidung, die bestimmt, wie das Unternehmen arbeitet, welche Infrastruktur es braucht und warum planbare Kosten besonders wichtig sind, wenn es das gesamte Internet rund um die Uhr vermisst.
Was Datazag genau macht
Datazag verfolgt die Infrastruktur hinter den Domains im Internet: wer sie hostet, wer ihre E-Mails betreibt, wie sie abgesichert sind und wie sich all das mit der Zeit verändert. Das System erfasst über 411 Millionen Domains. Mehr als 360 Millionen davon lassen sich derzeit auflösen. Die übrigen sind geparkt, abgelaufen oder wurden nie richtig eingerichtet. Datazag verfolgt deshalb den gesamten Bestand und konzentriert die Auflösung auf Domains, die antworten.
Diese Daten fließen an Managed Security Provider, Cyberversicherer, E-Mail-Dienstleister und Sicherheitsteams in Unternehmen. Manche nutzen sie als Alert-Feeds in ihren vorhandenen Sicherheitstools. Andere erstellen damit Risikoberichte für das Domainportfolio eines Unternehmens. Wieder andere übertragen sie direkt in Snowflake, Databricks oder DuckDB und verknüpfen sie dort mit eigenen Daten.
Hinzu kommt das Datazag Observatory mit kostenloser, öffentlich zugänglicher Forschung darüber, wie Domains, E-Mail und Hosting im Internet tatsächlich funktionieren.
Woher die Idee kam
Am Anfang stand die E-Mail. Peter hat unter anderem Infrastruktur für den E-Mail-Versand betrieben. Dabei zeigt sich schnell, dass die DNS-Daten einer Domain viel darüber verraten, wer dahintersteht und was als Nächstes passieren könnte.
Die meisten Threat-Intelligence-Systeme reagieren erst im Nachhinein und melden Infrastruktur, die bereits für einen Angriff genutzt wurde. Datazag wollte stattdessen die Einrichtungsphase erkennen: die Registrierung einer Domain, die Ausstellung eines Zertifikats und die Konfiguration der Mail-Records. Dafür musste das Team das gesamte Internet selbst vermessen, statt sich auf den Feed eines anderen Anbieters zu verlassen.
Wie 3 Millionen Abfragen pro Stunde ablaufen
Nicht jede Domain braucht gleich viel Aufmerksamkeit. Neue Domains und Domains mit höherem Risiko werden in den ersten 30 Tagen täglich geprüft, bei Veränderungen auch länger. Der gesamte Datenbestand wird fortlaufend innerhalb von zwei Monaten aktualisiert. Da sich die meisten Domains von Monat zu Monat kaum verändern, speichert Datazag die Änderungen statt jeder einzelnen Beobachtung. So bleibt der Verlauf kompakt und Änderungen lassen sich schnell finden.
Der Workload läuft auf einem Pool aus Worker-Servern, die über Queues mit Aufgaben versorgt werden. Die Arbeit wird nach Dringlichkeit verteilt: neu entdeckte Domains und Prüfungen mit hoher Priorität kommen zuerst, regelmäßige Aktualisierungen nutzen die verbleibende Kapazität und fehlgeschlagene Abfragen landen in einer separaten Retry-Queue. So halten sie die übrigen Aufgaben nicht auf. Eine kleinere Servergruppe verwaltet den Data Lake, wobei jeder Server eine eigene Verarbeitungsstufe übernimmt.
Erfassung und Verarbeitung bleiben bewusst getrennt. Ein rechenintensiver Analysejob darf die Erkennung in Echtzeit nie ausbremsen.
Das 10-Sekunden-Fenster
Jedes öffentlich vertrauenswürdige Website-Zertifikat wird in öffentlichen Certificate-Transparency-Logs erfasst. Datazag liest diese Logs direkt aus, sobald Zertifikate erscheinen. Sieht eine neue Domain so aus, als würde sie eine Marke oder Plattform imitieren, etwa mit einer gefälschten Anmeldeseite, wird sie sofort aufgelöst und bis zum Go-live fortlaufend geprüft.
Das Ziel ist, innerhalb von etwa 10 Sekunden nach der DNS-Auflösung der Domain einen Alert auszulösen.
Das ist relevant, weil Phishing-Kampagnen nur kurz laufen. Eine Domain wird möglicherweise nur wenige Stunden genutzt. Können die Sicherheitstools eines Kunden sie blockieren, bevor die erste schädliche E-Mail eintrifft, scheitert der Angriff. Eine Meldung am nächsten Tag kommt zu spät.
Das Infrastrukturproblem verbrauchsabhängiger Preise
Datazag begann bei einem großen Public-Cloud-Anbieter und nutzte dort Managed Services. Damit war das System schnell einsatzbereit, doch bei mehreren Hundert Millionen Domains passte das Modell nicht mehr zum Betrieb.
Die Überwachung von Internetinfrastruktur unterscheidet sich vom Betrieb einer herkömmlichen Anwendung. Die Workload pausiert nicht, wenn Kunden das Produkt gerade nicht nutzen. DNS-Einträge müssen aktualisiert, neue Infrastruktur untersucht und große Datensätze rund um die Uhr verarbeitet werden. Bei verbrauchsabhängigen Preisen führte jede größere Abdeckung und jede häufigere Aktualisierung zu einer neuen Kostenrechnung.
„Wir wollten eine Architektur, mit der wir unsere Beobachtungen fortlaufend ausweiten können, ohne dass die Kosten mit jeder zusätzlichen Abfrage proportional steigen. Planbare Rechenkapazität gibt uns den Spielraum, mehr Signale zu erfassen, Daten häufiger zu aktualisieren und neue Methoden zu testen. Dadurch erhalten unsere Kunden am Ende bessere Threat-Intelligence-Daten.“
Daraus entstand eine Infrastrukturstrategie, die dedizierte Rechenleistung für die laufende Erfassung und Verarbeitung mit Cloud-Diensten für Speicherung, Verteilung und Kundenzugriff kombiniert.
Warum Contabo
Für Datazag waren planbare Kosten, die benötigte Rechenleistung und die Skalierbarkeit eines verteilten Erfassungssystems ausschlaggebend, das rund 3 Millionen DNS-Abfragen pro Stunde verarbeitet.
Seit dem Wechsel zu Contabo hat Datazag seine Überwachung von einigen Hunderttausend auf mehrere Hundert Millionen Domains ausgeweitet. Die Infrastruktur hat dieses Wachstum ermöglicht, ohne dass die Kosten zum Hindernis wurden. Das Unternehmen plant nun, sein Deployment in einem zweiten Contabo-Rechenzentrum nachzubilden, um die Kapazität zu erhöhen und die Ausfallsicherheit zu stärken.
Der Vorteil beschränkt sich nicht auf niedrigere Infrastrukturkosten. Datazag kann mehr Ressourcen für das einsetzen, was Kunden brauchen: eine größere Abdeckung, aktuellere Threat-Intelligence-Daten und eine schnellere Erkennung.
Was sich verändert hat
Zu Beginn verarbeitete Datazag zwischen 100.000 und 200.000 Domains. Heute kartiert das Unternehmen das gesamte Internet und deckt über 90 % der Domains und ihrer DNS-Einträge ab. Die Kosten und der Aufwand für fortlaufende Datenaktualisierungen liegen deutlich unter denen alternativer Anbieter. Während einige Wettbewerber ihre Daten wöchentlich oder monatlich als Batch verarbeiten, aktualisiert Datazag sie täglich.
Dieser Unterschied hat direkte Folgen für den Betrieb. Bei Threat Intelligence entscheidet der Abstand zwischen täglichen und wöchentlichen Aktualisierungen darüber, ob ein Angriff rechtzeitig erkannt wird oder erst später in einem Bericht auftaucht.
Wie es weitergeht
Die Datensätze von Datazag erscheinen auf den Marktplätzen von Snowflake und Databricks. Unternehmen können sie dadurch mit eigenen Daten verknüpfen, ohne dass diese ihre Umgebung verlassen. Alert-Feeds werden bereits an Microsoft Sentinel übertragen, weitere Integrationen sind in Arbeit.
Auch der Forschungsbereich wächst. Erst in diesem Monat veröffentlichte Datazag „Wer betreibt geschäftliche E-Mail-Infrastruktur wirklich?„. Die Untersuchung zeigt, wie die größten Unternehmen der Welt ihre E-Mail-Systeme im Vergleich zum restlichen Internet betreiben.
Das Internet wächst weiter. Datazag beobachtet es weiter.
Wenn du Dateninfrastruktur in großem Maßstab betreibst und Kosten suchst, die nicht bei jeder zusätzlichen Aufgabe steigen, sieh dir unsere Serverangebote an. Mehr über die Arbeit von Datazag findest du auf datazag.com und observatory.datazag.com.
Möchtest du hier vorgestellt werden? Wir suchen immer nach Kunden, die interessante Projekte auf Contabo-Infrastruktur umsetzen. Nimm gerne Kontakt mit uns auf.
