Was kostet Datenbeschaffung wirklich?
Das ist die Frage, die mir am häufigsten gestellt wird. Und sie kommt fast immer in dieser Form: „Kann euer Service nicht etwas günstiger sein? Ich habe gegoogelt, und requests plus BeautifulSoup kosten nichts.“
Das stimmt. Die Bibliotheken kosten nichts. Und genau da liegt das Problem.
Ich möchte hier eine ehrliche Kostenrechnung aufmachen – für beide Seiten. Nicht um den eigenen Service zu verkaufen, sondern weil ich die Entscheidung „selbst bauen oder outsourcen“ in den letzten Jahren bei Dutzenden Unternehmen gesehen habe. Und weil die Fehlkalkulation fast immer auf derselben Seite liegt.
Die Kosten, die jeder sieht
Wenn ein Entwickler intern einen Scraper baut, sind das die offensichtlichen Posten:
Initiale Entwicklung: 20–40 Stunden. Bei einem internen Stundensatz von 80 € sind das 1.600–3.200 € einmalig. Das ist real, aber einmalig – und deswegen wird es oft als „die Gesamtkosten“ gesehen.
Server: Hetzner oder ähnliches, 20–40 € im Monat. Überschaubar.
Das war’s – in der naiven Kalkulation. Einmaliger Entwicklungsaufwand, minimaler Betriebsaufwand. Klingt nach einer guten Entscheidung.
Die Kosten, die niemand sieht
Wartung ist das Problem, nicht das Bauen.
Websites ändern sich. CSS-Klassen ändern sich. Layout-Strukturen ändern sich. Manchmal wöchentlich. Wenn du drei Quellen gleichzeitig scrapen willst, hast du drei Stellen, die brechen können – unabhängig voneinander, ohne Vorankündigung, meistens genau dann wenn die Daten wichtig sind.
Ich schätze realistisch 4–10 Stunden Wartung pro Monat für ein Setup mit 2–3 Quellen. Bei 80 € Stundensatz sind das 320–800 € monatlich – für eine Aufgabe, die im besten Fall niemand bemerkt, weil alles läuft. Im schlechtesten Fall: der Scraper liefert still falsche Daten, und du merkst es erst, wenn eine Geschäftsentscheidung auf falschen Zahlen basiert.
Proxy-Kosten. Viele Websites erkennen Scraping-Traffic und blockieren IP-Adressen. Dagegen helfen rotierende Proxies. Kosten: 50–200 € pro Monat, je nach Volumen und Qualität der Proxy-Provider. Das wird in der initialen Kalkulation systematisch vergessen.
Monitoring. Wie weißt du, dass dein Scraper läuft? Wie weißt du, dass er die richtigen Daten liefert und nicht stillschweigend leere Arrays zurückgibt? Monitoring-Setup kostet Zeit, und ohne Monitoring bist du blind.
Anti-Bot. Cloudflare, DataDome, PerimeterX – professionelle Anti-Bot-Systeme, die immer mehr Websites einsetzen. Dagegen ankämpfen ist ein Vollzeitjob. Playwright hilft bis zu einem gewissen Punkt. Danach wird es teuer und fehleranfällig.
Die vollständige Kostenrechnung
| Posten | DIY (realistisch) | Managed Service |
|---|---|---|
| Initiale Entwicklung | 1.600–3.200 € (einmalig) | 1.500 € (einmalig) |
| Wartung | 320–800 €/Monat | enthalten |
| Proxies | 50–200 €/Monat | enthalten |
| Server | 20–40 €/Monat | enthalten |
| Monitoring | Eigenaufwand | enthalten |
| Anti-Bot-Anpassungen | Bei Bedarf, unberechenbar | enthalten |
| Gesamt monatlich | 390–1.040+ € | ab 490 € |
Beim Managed Service ist die Kalkulation einfach: 1.500 € einmalig, 490 € pro Monat. Alles drin.
Beim DIY ist die Kalkulation ehrlich komplizierter. Wer die Wartungskosten weglässt, rechnet sich arm. Wer einen Senior-Entwickler 10 Stunden im Monat für Scraping-Wartung einsetzt, verschwendet seine teuerste Ressource für keine Kernaufgabe.
Wann sich der DIY-Weg trotzdem lohnt
Das ist kein Plädoyer gegen eigene Scraper. Es gibt Situationen, in denen der eigene Aufbau die richtige Entscheidung ist:
Einmalige Extraktion. Du brauchst einmal Daten aus einer Quelle – historische Bestände, ein Dataset für eine Analyse. Kein dauerhafter Betrieb, kein Monitoring nötig. Scraper schreiben, Daten holen, fertig.
Stabile interne Quellen. Eigene Systeme, eigene APIs, interne Datenbanken. Kein Anti-Bot, kein Layout-Change-Risiko, kein Wartungsproblem.
Entwickler-Kapazität im Team. Wenn jemand das gerne macht, gut darin ist und es als Teil seiner regulären Aufgabe sieht – dann ist interner Aufbau sinnvoll.
Der Fehler ist nicht, einen eigenen Scraper zu bauen. Der Fehler ist, die laufenden Kosten nicht einzuplanen und sechs Monate später festzustellen, dass der Scraper zur Hälfte der Zeit kaputt ist und niemand die Zeit hat, ihn zu reparieren.
Die Frage, die wirklich zählt
Nicht: „Können wir das selbst bauen?“
Fast immer: Ja.
Sondern: „Wer pflegt das in 18 Monaten – wenn der Entwickler, der es gebaut hat, das Unternehmen verlassen hat oder mit einem anderen Projekt beschäftigt ist?“
Die Antwort auf diese Frage entscheidet mehr als jede Kostenkalkulation.
Weitere Ressourcen
Auf brain-maze.de gibt es einen interaktiven ROI-Rechner: Du gibst deinen monatlichen Wartungsaufwand und Stundensatz ein und bekommst sofort den Vergleich:
→ Data-as-a-Service – ROI-Rechner & Übersicht
Und wenn du wissen willst, was ein konkretes Setup für deine Quellen kosten würde:
→ Web Scraping Dienstleister – Leistungsumfang und Konditionen
Zum verwandten Artikel, wenn du die Entscheidung grundsätzlich durchdenken willst:
→ Selbst scrapen oder beauftragen? Meine ehrliche Einschätzung.
