Ausgabe Dezember 2021

Warum Netze ausfallen

Ursachen von Netzausfällen können in folgenden Bereichen liegen:

• Hardware
• Software
• Konfiguration

Dabei können Schwächen von Hardware, Software oder Konfiguration durch ungünstige Umstände zum Netzausfall führen oder auch bewusst ausgenutzt werden. Im zweiten Fall liegt ein Angriff vor. Das Ziel eines solchen Angriffs kann auch die Beeinträchtigung der Verfügbarkeit des Netzes sein.

Ebenso kann eine Kombination von Umständen in den oben genannten Bereichen zu einem Netzausfall führen. Zum Beispiel ist es möglich, dass eine Hardware-Störung die Software von Netzkomponenten destabilisiert. Denken Sie etwa an einen defekten Transceiver. Dieser kann den Zustand einer physischen Verbindung mit ungewohnt hoher Frequenz ändern, wofür man den Begriff Link Flapping verwendet. Link Flapping kann Steuerungsprotokolle wie Routing-Protokolle, das Spanning-Tree-Protokoll oder andere Mechanismen der Control Plane (Steuerungsebene) des Netzes so stark in Anspruch nehmen, dass die Zustände im Netz undeterministisch werden. Ergebnis kann ein instabiles Netz sein.

Vorbeugende Gegenmaßnahmen

Fehler und Schwachstellen in allen oben genannten Bereichen, nämlich Hardware, Software und Konfiguration sind unvermeidbar. Mit einer Kombination von Mechanismen kann jedoch einerseits die Wahrscheinlichkeit von Ausfällen reduziert und andererseits deren Auswirkung minimiert werden. Zu diesen Mechanismen zählen:

• Redundanz: Redundanz dient dazu, die Netzfunktion bei Hardware-Ausfällen wie zum Beispiel Ausfall einer Netzkomponente oder einer Leitung aufrechtzuerhalten. Redundanz muss in einer Umgebung mit hohen Verfügbarkeitsanforderungen automatisch greifen. Deshalb müssen Prozesse auf Netzkomponenten permanent den Netzzustand überwachen und bei Entdeckung von partiellen Ausfällen die Wegewahl im Netz ändern. Genau diese Prozesse können jedoch selbst instabile Zustände hervorrufen, wenn die sie aktivierende Software oder Konfiguration die automatischen Redundanzmechanismen nicht bewältigen kann. Daher müssen Redundanzmechanismen auf jeden Fall einem Stresstest unterzogen werden, zum Beispiel unter Laborbedingungen.
• Geeignete Software-Wahl: Software auf Netzkomponenten ist komplex. Komplexe Software kann Fehler oder Schwachstellen enthalten. Diese sind unvermeidlich. Daher ist auf geeignete Software-Wahl für Netzkomponenten zu achten. Hersteller von Netzkomponenten sind dafür in die Pflicht zu nehmen; sie müssen stabile und getestete Software-Versionen bekannt geben.
• Einstellungen in der Konfiguration: Gegen instabile Zustände können bestimmte Konfigurationseinstellungen unter Umständen helfen. Zum Beispiel kann ein Automatismus bei Link Flapping einen Port abschalten und somit für klare Verhältnisse sorgen. Damit solche Automatismen die Netzverfügbarkeit nicht beeinträchtigen, sind natürlich redundante Strukturen und automatische Redundanzmechanismen erforderlich. Ferner müssen Änderungen wie die automatische Abschaltung eines Ports zu einem Alarm führen.

Design als Ausfallvorbeugung

Die oben genannten Gegenmaßnahmen sind bei jedem Netzdesign zu empfehlen. Doch auch das Netzdesign selbst muss als Mittel der Ausfallvorbeugung verstanden werden.

Im Rahmen dieses Artikels kann ich nur auf den folgenden Auszug aus den Leitlinien für ein robustes Netzdesign eingehen:

• Einander Redundanz gebende Systeme sollten nach Möglichkeit unabhängig voneinander sein. Es sollte realisierbar sein, solche Systeme einzeln aus dem Netz zu nehmen oder einem Neustart zu unterziehen, mit möglichst wenig Rückwirkung zwischen den Systemen. Einem solchen Design-Prinzip unterliegt zum Beispiel das weltweite Internet. Im weltweiten Netz können Betreiber von Teilnetzen (Internet Service Provider, Carrier) die Systeme in ihrem Zuständigkeitsbereich außer Betrieb nehmen oder neu starten, ohne dass das ganze Netz instabil wird. Voraussetzung hierfür ist eine verteilte Steuerungsintelligenz (Distributed Control Plane). Eine solche verteilte Intelligenz kann höheren Betriebsaufwand verursachen, weil die betroffenen Komponenten einzeln konfiguriert werden müssen. Daher gibt es immer einen Zielkonflikt zwischen Aufwandsminimierung durch eine netzweit greifende Konfiguration und der Minimierung der Ausfallwahrscheinlichkeit, die auch von Fehlern in einer netzweit greifenden Konfiguration oder Software beeinflusst wird. Zuletzt wurde beim zweifachen Ausfall des Facebook-Netzes am 04. und 09.10.2021 eindrucksvoll deutlich, dass Fehler in einer netzweit greifenden Konfiguration ein ganzes Konzernnetz stundenlang lahmlegen können.
• Auch wenn Zentralisierung und Konsolidierung den Betriebsaufwand reduzieren, ist eine Entflechtung von neuralgischen Punkten in einem Netz als vorbeugende Maßnahme zu erwägen. Durch eine solche Entflechtung kann die Auswirkung von Fehlfunktionen einzelner Komponenten reduziert werden. Ferner kann dadurch erreicht werden, dass die Hemmschwelle für den zwecks Netzstabilisierung gegebenenfalls notwenigen Neustart von Komponenten abgesenkt und ein solcher Neustart erleichtert wird.
• Prozesse für die Berechnung von Redundanzmechanismen und der Wegewahl im Netz sollten auf möglichst verschiedene Komponenten verteilt werden. Hierbei ist der Mehraufwand für Materialeinsatz (Komponenten) und Betrieb in Kauf zu nehmen, um mehr Robustheit des Netzes zu erreichen.

Organisatorische Maßnahmen

Die oben genannten Maßnahmen gehören ausschließlich in die Kategorie technischer Maßnahmen zur Stabilisierung von Netzen. Die Gesamtheit von technischen Maßnahmen kann jedoch eine Optimierung der Organisation des Netzbetriebs nicht obsolet machen, denn trotz aller technischen Maßnahmen können unvermeidbare Vorfälle und Probleme die Verfügbarkeit von Netzen beeinträchtigen. Nicht von ungefähr ist das effiziente Management von Vorfällen (Incidents) und Problemen (Problems) eine unverzichtbare Disziplin des Netzbetriebs, nämlich Incident & Problem Management.

Kommt es zu Störungen und Ausfällen im Netz, werden unter anderem benötigt:

• Ausreichende Befugnisse des Netzbetreibers, um nach Abwägungen schnellstmöglich auch Maßnahmen wie Neustart von kritischen Komponenten durchzuführen
• Transparente Kommunikation der Entscheidungen des Netzbetreibers, damit bei Bedarf nach umfassender Abwägung auch signifikante und gleichzeitig notwendige Eingriffe wie Neustart zentraler Komponenten samt ihrer Risiken und Folgen von allen Beteiligten akzeptiert und mitgetragen werden
• Personalstärke und Personalqualifikation, die der Komplexität der Netzkomponenten (Switches, Router, Load Balancer etc.) sowie der Sicherheitsinstanzen (Firewalls usw.), den bestehenden Verfügbarkeitsanforderungen und den Erfordernissen der Aufrechterhaltung des Netzbetriebs in der vorgegebenen Zeit (zum Beispiel rund um die Uhr) entsprechen

Fazit

Angesichts der Komplexität von Hardware, Software und Konfiguration von Netzkomponenten sind Schwachstellen in diesen drei Bereichen leider nicht zu vermeiden. Entsprechend kommt es zwangsläufig hin und wieder zu Netzausfällen. Mit geeigneten technischen und organisatorischen Maßnahmen können jedoch die Wahrscheinlichkeit solcher Ausfälle sowie deren Auswirkungen reduziert werden.

Näheres dazu erfahren Sie von meinen sehr erfahrenen Kollegen im Seminar Fehlersuche in lokalen Netzen.

Ihr Dr. Behrooz Moayeri