[[PageOutline]] = Massiver Netzwerkausfall: Krisenintervention = Am 12.3.2020 erlitten wir einen Totalausfall des Netzwerks an allen Keplerschulen: am Gymnasium, der Werkrealschule, der Grundschule. Diese Seite sammelt alle verfügbaren Informationen, die Ausfälle dieser Art in Zukunft vermeiden, unwahrscheinlicher machen oder die Behebung des eingetretenen Krisenfalls beschleunigen können. == Bericht kup 12.3.20 == - 7:45: ich erhalte einen Anruf aus dem Sekretariat, „wir haben ein riesiges Problem“. Analyse: unsere Sekretärinnen haben die Wichtigkeit des Problems richtig beurteilt und die richtigen Maßnahmen ergriffen: Telefonanruf an kup & bau. - 7:50: kup sieht die letzte bestätigte Botschaft von CheckMK: CRITICAL: host cisco0027 down. - 7:53: Bestätigung, dass im Sekretariat (und damit vermutlich im ganzen Schulverwaltungsnetz) kein Computer mehr Netzwerkzugang hat. - 7:55: bau ist per Handy nicht erreichbar. Nachrichüten auf Mailbox und per SMS hinterlassen. - 8:00: erste Analyse zeigt, dass im ganzen Schulhaus keine einzige Netzwerkverbindung mehr funktioniert. Analyse: Wir müssen dringend dafür sorgen, dass ein Problem im Schülernetz nicht das Verwaltungsnetz betreffen kann. Die Netze müssen besser voneinander getrennt werden, notfalls ultimativ physikalisch. - 8:05: erste Maßnahme von kup: Zentralen Switch cisco0027 neu starten. Keine Verbesserung. - 8:10: Weiter kein Kontakt zu bau. Einschätzung: Sehr schwerwiegendes Netzwerkproblem, sämtlicher Unterricht und sämtliche Verwaltung betroffen. - 8:15: Anruf bei Conetis: Kurze Verwirrung („Sie müssen zuerst ein Support-Ticket bei Baumgärtner erstellen!" — „Äh, nein, Herr Baumgärtner ist nicht da und niemand kann auf irgend einem unserer Server irgend etwas tun, also auch kein Ticket erstellen, uund selbst wenn, dann würde ich es nur selbst bekommen.“) Anweisung von Conetis: Zentralen Switch cisco0027 erneut neu starten (das war berichteter Weise schon geschehen und hatte keinen Effekt), gleichzeitig den zentralen Server paedml neu starten (dafür gab es keinen erkennbaren Anlass). Nach Anweisung durchgeführt. Ergebnis: Am Switch keinerlei Veränderung. Zentraler Server paedml startet nicht mehr (wie sich später herausstellt keinerlei Bezug zum Netzwerkproblem. Dieses Problem hätte komplett vermieden werden können, wenn man auf den (nicht angezeigten) Neustart des Servers verzichtet hätte.) - 8:25 kup erreicht bau auf Handy. Weder bau noch kup haben eine Erklärung, schätzen die Symptome aber gleich ein. Erste Vermutung: Switch cisco0027 dysfunktoonal. Nach Auskunft von bau ist die direkte Art, den Switch zu erreichen, eine serielle Verbindung per Kabel. Problem: Weder das Kabel, noch der nötige Seriell-zu-USB-Adapter ist im Serverraum vorhanden. - 8:30 kup vertröstet die vor 5.28 wartenden Eltern und bittet um Geduld. Die Eltern haben bis dahin vor der geschlossenen Tür gewartet und sind verständlicherweise nicht amüsiert. Maßnahme: den Raum aufschließen, damit die Eltern sich wenigstens hinsetzen können. Die Eltern beruhigen und das nötigste erklären. Zukünftig: Das hätten andere Mitglieder des Netzwerkteams tun können. - 8:40 Um eine serielle Verbindung zum zentralen Switch herzustellen benötigt kup das Programm »minicom«, das auf seinem Laptop nicht installiert ist. Zukünftig: Dieses Programm muss auf allen Adein-Rechnern installiert sein Problem: Es gibt nirgends im Schulhaus einen Rechner mit Internetverbindung. Lösung: kup stellt mit seinem privaten Handy eine Mobilfunkverbindung im Lehrerzimmer her und gibt sie als WLAN-Hotspot frei. Über die Verbindung installiert er das benötigte Programm. Zukünftig: Die Dienst-Laptops von bau und kup haben Mobilfunkmodule. Wir benötigen SIM-Karten für Mobilfunkzugang, um in genau solchen Fällen weiter Internetzugang zu haben (kann die Schule für wenig Geld bei jedem Anbieter abschließen). - 8:50 kup hat sich die nötige Hardware (serielles Kabel und Seriell-zu-USB-Interface) aus den Schränken vor 1.10 und dem NwT-Wagen, der zur Zeit im Stützpunkt in U1 steht, zusammengesucht. Damit verbindet er sich mit dem zentralen Switch cisco0027. Das nötige Programm erfordert spezielle Konfiguration, die unbekannt ist. Bau liefert telefonisch die nötigen Informationen. Damit gelingt die Kommunikation zum Switch. Für den Login ist ein Passwort nötig, das kup nicht kennt. Bau gibt die nötigen Informationen telefonisch. - 9:00 kup ist auf dem einzigen Gerät im Netzwerk angemeldet, das noch funktioniert: dem zentralen Switch cisco0027. Problem: Die cisco-Switche verwenden ein proprietäres Betriebsystem, das nur entfernt mit Unix zu tun hat. Ein Linux-Nutzer hat keine Chance, die erforderlichen Befehle zu erraten. Lösung: bau kommuniziert sein Spezialwissen per Telefon. - 9:05: kup hat administrativen Zugang zum zentralen Switch cisco0027. versucht in Telefonkontakt mit bau das Problem einzugrenzen. ---- [[CC_BY_NC_SA]]