UPS auf gluster 1-6

[Rüdiger Kupper]

gluster1-4 zeigen nach dem Hochfahren die Meldung an

BroadBroadcast message from root@gluster1 (somewhere) (Mon Apr 10 13:47:17 2023):   
                                                                               
Warning communications lost with UPS

Da müssen noch die UPS augetauscht werden?

[bau]

Ja, da sind APC-USV installiert, die keine USB-Verbindung zum Server haben.
Heute ist die USV an Gluster4 abgenippelt - diese ist nun durch eine Powerline ersetzt.

An den restlichen Gluster-Servern (1-3) muss das noch bei Gelegenheit erfolgen.

[Rüdiger Kupper]

Haben inzwischen alle Gluster-Server neue USVs?

[bau]

Gluster1,2,5,6 haben neue, 3+4 (im Heizungskeller) wären noch zu tauschen.
Dazu muss dann wohl das Volume mal kurz heruntergefahren werden?

[Rüdiger Kupper]

Wie wir heute gesehen haben, ist es unkritisch, wenn ein Serverpaar vorübergehend nicht erreichbar ist.
In der Zeit sollten nzr möglichst keine größeren Aktionen im Dateisystem stattfinden.

[Rüdiger Kupper]

Getestet auf gluster5: der Dienst "nut-server" startet nicht.

[Rüdiger Kupper]

Fehler: connection refused

[Rüdiger Kupper]

Ich vermute, das selbe Problem gibt es mit allen Rechnern mit den neuen USV.

@bau

hast Du die Funktion auf einem der Rechner getestet? (Stecker ziehen und warten, dass der Rechner herunterfährt?)

[Rüdiger Kupper]

Auf gluster5,6 habe ich den Dienst nun starten können. Ein »systemctl stop nut-server« und »systemctl start nut-server« hat es behoben. »uspc powerwalker« liest nun die Daten korrekt aus.
Wieso das beim Hochfahren nicht geklappt hat, müssen wir noch untersuchen! Ich werde die Server ohnehin deänächst kurz runterfahren, um die BIOS-Einstellungen zu ändern. Da kann ich das gleich nochmal probieren.

[Rüdiger Kupper]

Replying to bau:

Gluster1,2,5,6 haben neue, 3+4 (im Heizungskeller) wären noch zu tauschen.

Auf gluster1,2 ist die nut-Software nicht installiert. Müssen wir nachholen!

Gluster 3,4 brauchen dann auch die neuen USVs und die Software.

Am sichersten ist es, die Gluster-Volumes zu stoppen, während die Server aus sind. Solange immer nur eins der Paare offline ist, müsste es aber auch ohne gehen.

[Rüdiger Kupper]

Heute hängt der Doienst leider auf gluster5,6 wieder. Output von "upsc powerwalker":

• gluster5: "Error: Data stale"
• gluster6: hängt und kehrt nie zurück

[Rüdiger Kupper]

Im journal wiederholen sich immer die Zeilen

Jul 31 10:26:06 gluster6 upsd[134945]: Send ping to UPS [powerwalker] failed: Resource temporarily unavailable
Jul 31 10:26:08 gluster6 upsd[134945]: Connected to UPS [powerwalker]: usbhid-ups-powerwalker
Jul 31 10:26:25 gluster6 upsd[134945]: Data for UPS [powerwalker] is stale - check driver
Jul 31 10:57:01 gluster6 upsd[134945]: Send ping to UPS [powerwalker] failed: Resource temporarily unavailable
Jul 31 10:57:03 gluster6 upsd[134945]: Connected to UPS [powerwalker]: usbhid-ups-powerwalker
Jul 31 10:57:20 gluster6 upsd[134945]: Data for UPS [powerwalker] is stale - check driver

Wieso "Resource temporarily unavailable"?

[Rüdiger Kupper]

Auf gluster5 lief seit dem Neustart des Dienstes gestern Abend alles ohne Fehler bis um heute 14:46 Uhr. Auf gluster6 fangen die Fehlermeldungen schon letzte Nacht um 2:42 Uhr an.

[Rüdiger Kupper]

Auf gluster1,2 sehe ich kein entsprechendes USB-Device. Kabel nicht angeschlossen?

[bau]

Die stehen im Heizungskeller?
Diese USVs müssen wir dringend tauschen, die haben keinen USB-Anschluss.
Der Elektriker meinte grade, dass eine der USV ganz furchtbar piepst.

[Rüdiger Kupper]

Ich kann mir nie merken, welche wo stehen. Dabei ist es ganz einfach, Reihenfolge wie bei den Räumen. 1,2 Heizubg, 3,4 Serverraun, 5,6 Stützpunkt.
Piepen klingt entweder nach akutem Stromausfall oder nach defekter Batterie.

[Rüdiger Kupper]

Hast Du eine Ahnung, wieso die Verbindung bei gluster5,6 abbricht? Ist das USB-Kabel zu lang?

[Rüdiger Kupper]

Inzwischen hab ich mich durch die einschlägigen Foren gefressen und dort gibt es immer wieder ähnliche Fragen, aber unterschiedliche Antworten.
Probiert habe ich, den Parameter MAXAGE in upsd conf hochzusetzen, ohne Erfolg. Andere empfehlen, auch DEADTIME in upsmonitor.conf hochzusetzen. Beides sieht eher danach aus, das Symptom zu bekämpfen statt die Ursache.

Erdfolgversprechend scheint mir vielmehr die Option pollonly="enabled" ind ups.conf. Das ist eine Option des usbhid-Treibers. Offenbar gibt es zwei Modi, wie Software USB-Daten abfragen kann:

• poll: die Software fragt selbst beim Device nach
• interrupt: das USB-Protokoll kennt gar keine Interrupts (im Gegensatz zu SCSI, firewire, etc, weshalb die auch teurer sind). Soweit ich verstanden habe ist gemeint, dass ein low-level-USB-Treiber das Device automatisch pollt (und zwar sehr oft, im ms-Bereich). Gibt es eine Antwort benachrichtigt der Treiber die Software. Für die Software sieht das dann aus wie ein „echter Interrupt“ (obwohl das OS die ganze Arbeit macht, nicht das Gerät).

Der Interrupt-Modus verhakt sich bei unserer USV wohl gerne. Die obige Option sagt, dass dieser Modus nicht genutzt werden soll. Der nut-server fragt also regelmäßig selbst nach. Per Default alle 2 Sekunden, wenn ich recht verstehe, was absolut ausreichend ist.

Habe die drei Rechner nun mit dieser Option laufen und seit heute Morgen gibt es kein Problem. Aber abwarten.

[Rüdiger Kupper]

Mit der Option "pollonly=enabled" gab es bisher keinerlei Probleme mehr. Die Downtime heute Morgen war auf einen Versuch zurückzuführen: als Test habe ich mal die gegenteilige Option gesetzt: »interruptonly=enabled". Die gibt es auf proxmoxpaedml gar nicht, aber auf gluster5,6. Ergebnis: nach ca. 2 Stunden hat nut auf gluster5 den Kontakt zur USV verloren und (als Sicherheitsmaßnahme?!) den Server heruntergefahren. Immerhin wissen wir damit, dass das Herunterfahren funktioniert.

Ich habe nun auf allen drei Servern die Option "pollonly=enabled" gesetzt und alle anderen Modifilationen entfernt. Wenn sich das so bewährt können wir bei diesen USVs bleiben.

[Rüdiger Kupper]

Läuft seither mit dieser Einstellung ohne Probleme. Habe die Option dokumentiert in AdminUsv. Damit können wir die Powerwalker-USVs bei den anderen Servern installieren!

[Rüdiger Kupper]

Nächstes Problem: Einige unserer Server mit den neuen USV haben dieses Problem hier:

• ​https://serverfault.com/questions/994338/how-can-i-fix-my-ups-repeatedly-disconnecting-and-reconnecting

Das Sysjournal ist voller dieser Meldungen, sie erscheinen mehrmals die Sekunde. Disconnect/connect treten teilweise sekündlich auf, jedes Mal wird ein neues USB-Device reserviert. Der Link oben enthält auch einen Workaround über eine geänderte udev-Regel, die jedes Mal den Dienst upsdrvctl neu startet. Das dürfte aber mehr Symptombekämpung sein statt Ursachenbekämpfung.

Inwieweit das die Server belastet bzw. mit der Funktion der USV interferiert weiß ich nicht.