Ein Softwareproblem hat bei zahlreichen Cisco-Switches offenbar für erhebliche Störungen gesorgt: Geräte aus verschiedenen Produktreihen starteten in kurzen Abständen immer wieder neu. Auslöser waren DNS-Fehler, die von der Firmware fälschlicherweise als kritischer Systemzustand bewertet wurden. Erste Auswertungen legen zudem nahe, dass auch eine unerwartete Wechselwirkung mit externen DNS-Diensten eine Rolle gespielt haben könnte.

Was passiert ist

Berichten zufolge begann das Verhalten in vielen Umgebungen nahezu zeitgleich gegen 2 Uhr morgens. Betroffene Switches gerieten in sogenannte Reboot- oder Boot-Loops: Nach einer fehlgeschlagenen DNS-Auflösung wertete der interne DNS-Client den Zustand als fatal und löste automatisch einen Neustart aus. Teilweise wiederholte sich das im Minutenrhythmus, was einen stabilen Netzbetrieb praktisch unmöglich machte.

In Logdateien tauchten dabei wiederholt Meldungen aus dem DNSC-Task auf. Die Namensauflösung scheiterte unter anderem für „www.cisco.com“ sowie für konfigurierte NTP-/Zeitserver. Kurz nach diesen Einträgen folgte jeweils der Neustart.

Welche Geräte betroffen sind

Die Störungen wurden bei einer ganzen Reihe von Modellen beobachtet, darunter:

– Cisco CBS250 und CBS350
– Catalyst C1200
– SG350, SG350X sowie SG550X

Auffällig war, dass die Probleme in voneinander unabhängigen Netzwerken fast gleichzeitig auftraten. Das spricht eher für einen externen Trigger oder eine zeitbasierte Bedingung, die weltweit wirksam wurde, als für ein lokales Einzelproblem. Eine öffentliche, detaillierte Stellungnahme zur technischen Ursache lag zunächst nicht vor; laut Support-Hinweisen soll Cisco das Problem intern jedoch bestätigt haben.

Pragmatische Workarounds aus der Praxis

Admin-Teams haben kurzfristig mehrere Maßnahmen identifiziert, um die Neustart-Schleifen zu stoppen oder zumindest einzugrenzen. Genannt wurden vor allem:

– DNS-Auflösung auf den Switches deaktivieren
– SNTP/NTP-Zeitsynchronisation abschalten
– Ausgehende Internetverbindungen auf den Management-Interfaces blockieren

Mehrere Rückmeldungen deuten darauf hin, dass insbesondere das Entfernen bzw. Deaktivieren der DNS-Konfiguration die Reboot-Loops zuverlässig beendet hat – selbst wenn die eingesetzten DNS-Server grundsätzlich erreichbar waren.

Möglicher Zusammenhang mit externen DNS-Antworten

Parallel tauchten Hinweise auf eine mögliche externe Mitursache auf: Bei Cloudflare soll eine DNS-Codeänderung zeitweise dazu geführt haben, dass sich die Reihenfolge von DNS-Ressourceneinträgen in Antworten verändert hat. Genau diese Abweichung könnte bestimmte DNS-Implementierungen aus dem Takt gebracht haben – offenbar auch die in einigen Cisco-Switches.

Cloudflare soll die Änderung bereits am 8. Januar zurückgerollt haben. Der Vorfall zeigt trotzdem sehr deutlich, wie sensibel Netzwerkinfrastruktur auf unerwartete Abweichungen bei grundlegenden Diensten wie DNS reagieren kann.