Suchen

Open-Source-Lösung Zukunftssicheres Monitoring bei der Bundesagentur für Arbeit

| Autor / Redakteur: Karsten Stöhr* / Ira Zahorsky

Für den Betrieb von teils hochkritischen Systemen war die Bundesagentur für Arbeit auf der Suche nach einer neuen Datenbank-Lösung. Die Anforderungen erfüllen konnte eine kommerzielle Open-Source-Lösung, dank der die Mitarbeiter auch von einem effizienten Monitoring profitieren.

Die Bundesagentur für Arbeit hat jetzt eine neue Lösung für das Echtzeit-Monitoring von Applikationen und Businessprozessen.
Die Bundesagentur für Arbeit hat jetzt eine neue Lösung für das Echtzeit-Monitoring von Applikationen und Businessprozessen.
(Bild: Bundesagentur für Arbeit)

Das IT-Systemhaus der Bundesagentur für Arbeit (BA) kümmert sich um die IT der BA, die auf drei zentrale Rechenzentren verteilt ist. Das IT-Systemhaus verwaltet über 120 zumeist selbst entwickelte IT-Verfahren, die auf 9.000 Servern und 168.000 vernetzten PCs ausgespielt werden.

Die Herausforderung

Die BA ist eine der zentralen öffentlichen Einrichtungen der Bundesrepublik Deutschland. Damit ist es ihre Verantwortung, gegenüber den Bürgern und den Ministerien, ihre Daten nach den höchstmöglichen Standards zu erheben, zu analysieren und zu verwalten. Unterschieden wird hier zwischen Nutzdaten und Monitoringdaten von geschäftskritischen Informationssystemen, die aber ähnliche Anforderungen an die Hochverfügbarkeit und die Durabilität, also dauerhafte Speicherung, stellen. Um Monitoringabfragen und Analysen in dem erforderlichen Zeitrahmen durchzuführen, gleichzeitig aber den Produktivbetrieb aufrechterhalten zu können, sollten die Monitoringdaten von den eigentlichen Nutzdaten getrennt werden. Das konnte mit den bis dato eingesetzten relationalen Datenbanken nicht realisiert werden. Zudem erforderte das stetig wachsende Volumen an Datensätzen eine Skalierbarkeit, die die bisher verwendeten Lösungen nicht abdecken konnten.

Daher forderte der Softwareentwicklungsbereich eine neue Lösung für das Echtzeit-Monitoring von Applikationen und Businessprozessen. Ziel sollte einerseits sein, zeitnah etwaigen Negativeinflüssen entgegensteuern zu können. Langfristig wollten sich die Mitarbeiter der BA mit umfangreichen Analysefunktionen und sich daraus ergebenden Informationen in die Lage versetzen, Applikationen und die damit zusammenhängenden Prozesse zu optimieren, bevor bestimmte Engpässe überhaupt auftreten.

Daneben stand auch Performance auf der Wunschliste. Denn anders als bei den relationalen Datenbanken auf Basis von Oracle- und Microsoft-Architekturen, die sich bei hohem Zufluss von Daten mit der Verarbeitung schwertun, sollte künftig auch bei hohen Ingest-Raten zeitnahes Monitoring möglich sein. Nur so kann schnell auf potenzielle Zwischenfälle reagiert werden und die Softwareentwicklung bzw. der -betrieb für die mehr als 2.000 Entwickler und knapp 1.000 Infrastrukturverantwortlichen generell agiler gestaltet werden.

Das IT-Systemhaus ist zuständig für die gesamte Informationstechnik (IT) der Bundesagentur für Arbeit, als einer der größten Behörden Europas. Es stand vor der Herausforderung, einen Architektur-Stack aufzubauen, der zum einen exponentiell wachsende digitale Informationen und Anfragen zeitnah verarbeiten kann und einen Skalierungsgrad aufweist, der Zukunftssicherheit garantiert. Zum anderen war eine Lösung für echtzeitnahes Monitoring gefragt, welche die hohen Anforderungen an Durabilität, Hochverfügbarkeit und analytische Leistungsfähigkeit erfüllt.

Die Lösung

Als Zentrum der neuen Lösung kristallisierte sich das Open-Source-Angebot Apache Cassandra heraus. Denn die neue Umgebung sollte individuell auf die Bedürfnisse der BA zugeschnitten werden und auch eigene Entwicklungen einbinden können. Zusätzlich ging es neben der Datenhaltung vorrangig auch um die Weiterverarbeitung von Daten. Hier kam DataStax Enterprise ins Spiel. Die Datenbanklösung basiert auf Cassandra, bindet aber auch leicht andere Komponenten ein. Nutzer erhalten so neben den Vorteilen von Cassandra weitere Tools, wie die Suchplattform DSE Search (basierend auf der Open-Source-Lösung Solr) oder Grafana für die Visualisierung der Daten aus einer Hand. Zusätzlich bietet DataStax umfassende Beratung sowie Service remote und vor Ort — während und nach Abschluss des Projekts.

Die Always-On- und Parallel-Insert-Funktionalitäten umgehen die Limitierungen von relationalen Datenbanken. Der DataStax-Stack ist auf den Insert und die Auswertung großer Volumen langzeitgespeicherter Daten ausgelegt und vereinfacht für das BA so deren Weiterverarbeitung, auch bei vielen gleichzeitigen Analyse-Prozessen. Die Workloads, die bei der BA im Zuge des Monitorings anfallen, schultert die neue Lösung daher in Echtzeit. Für die Mitarbeiter des IT-Systemhauses bedeutet das, dass sie etwaige Zwischenfälle nicht mehr nur im Nachhinein erfassen und analysieren können, sondern dank der unmittelbaren Überwachung in Quasi-Echtzeit reagieren können.

Das begünstigt auch eine proaktive Strategie, die potenzielle Problemquellen frühzeitig erkennt und Entwickler präventiv gegensteuern lässt. Ein klassisches Beispiel sind hier steigende Latenzen im Netzwerk zu den Arbeitsagenturen. Mit der neuen Lösung lässt sich schnell erkennen, ob nur einzelne Agenturen betroffen sind und das Problem beispielsweise in einer Netzwerkstandleitung oder ob der Anstieg vielleicht an einem Fehler im Quellcode einer bestimmten Applikation liegt. In diesem Fall lässt sich dank des neuen Realtime-Monitorings die Applikation identifizieren und korrigieren, bevor die entstehenden Verzögerungen Auswirkungen auf die Anwender haben. „Dank der Lösung von DataStax ist die Verzögerung bei unserem Infrastruktur-Monitoring in niedrige Sekundenbereiche geschrumpft. Das ist eine enorme Hilfe für das gesamte IT-Team – vom Entwickler bis hin zum Betrieb“, sagt Matthias Seßler, Lead Architect für Data Driven Services bei der Bundesagentur für Arbeit. „DSE bringt alle für uns relevanten Komponenten in einer Lösung mit und bietet die nötige Skalierbarkeit, damit wir auch für die Zukunft gerüstet sind. Das war für uns einer der entscheidenden Faktoren.“

Wichtig war darüber hinaus eine Integrierbarkeit der neuen Lösung in bestehende, systemübergreifende Prozesse der Behörde. Die Bundesagentur für Arbeit entschied sich deshalb, die Datenbank DataStax Enterprise neben der Oracle DB und dem MS SQL Server als Standarddatenbank in sein Technologie-Portfolio aufzunehmen. Der DataStax-Architektur-Stack ist somit bei der BA nun parallel zu den bestehenden Datenbanksystemen von Oracle und Microsoft im Einsatz. Über einen Zeitraum von knapp 18 Monaten wurde die Lösung in Zusammenarbeit mit den DataStax-Partnern Fujitsu und Capgemini SE implementiert.

Das Ergebnis

Der neue Architektur-Stack bringt alle Werkzeuge mit, die für das IT-Systemhaus der BA wichtig waren und sind. Zudem sind die einzelnen Komponenten in der Lösung von DataStax bereits aufeinander abgestimmt, der Anwender profitiert sofort und muss sich nicht um Anpassungen kümmern. Zudem fügt sich der Stack nahtlos in die bestehenden Systeme und Netzwerke der BA ein und erleichtert die Arbeit mehrerer hundert Mitarbeiter des IT Systemhauses der BA spürbar. Denn die neue Datenbankarchitektur von DataStax ermöglicht der BA ein effizienteres und reaktionsschnelles Monitoring großer Datenmengen in einer komplexen IT-Infrastruktur mehrerer Hersteller. Informationen aus den Applikationen werden mit solchen aus der Infrastruktur aber auch aus den Geschäftsprozessen in Zusammenhang gebracht, wodurch sich unterschiedlichste Erkenntnisse ableiten lassen, beispielsweise, wo ein Problem seinen Ursprung hat. Solche Rückschlüsse, die zuvor erst nach einem sehr langen Zeitraum sichtbar waren, lassen sich durch das Echzeit-Monitoring nun sofort erkennen.

Zusätzlich lassen sich mit DSE Search und Grafana die ermittelten Informationen besser als bisher kategorisieren, durchsuchen und darstellen. Gerade komplexe Zusammenhänge oder Zeitreihen kann der Anwender durch Grafana intuitiv visualisieren (Dashboards). Umfangreiche Filteroptionen können zudem wichtige Einblicke für die strategische Planung liefern. So lassen sich die Latenzzeiten oder Zugriffsraten von Applikationen in unterschiedlichen Wochenabschnitten gegenüberstellen und auf Basis dessen fundierte Entscheidungen zur Allokation von Ressourcen oder Mitarbeitern treffen.

Dank intensiver Zusammenarbeit und Kommunikation – remote und vor Ort – zwischen der BA, DataStax und Partnern konnte die Lösung ohne größere Schwierigkeiten in das Netzwerk der Behörde integriert werden. Nun ist sie für über 3.000 IT-Mitarbeiter nutzbar. „Wir standen schon im Vorfeld des Projekts länger mit DataStax in Kontakt und konnten uns während der Umsetzung immer über eine fundierte Unterstützung und höchstes Engagement von DataStax und seinen Partnern freuen. Damit waren auch die organisatorischen Herausforderungen einer großen Behörde leicht zu bewältigen“, fasst Matthias Seßler zusammen.

Karsten Stöhr, Data Architect bei DataSta
Karsten Stöhr, Data Architect bei DataSta
(Bild: DataStax)

*Der Autor, Karsten Stöhr, ist Data Architect bei DataStax.

(ID:46352265)