gluster1 neu aufsetzen

[Rüdiger Kupper]

Derzeit ist gluster1 wegen eines irreparablen Plattenfehlers inaktiv. Der restliche Pool läuft, so dass ohne Störung auf die Daten zugegriffen werden kann. Sollte allerdings noch einer der Spiegelserver gluster3 oder gluster5 ausfallen, so liefert der verbleibende keine Daten mehr aus, um die Datenintegrität zu gewährleisten (Quorum 2). Das würde massive Probleme im Schulbetrieb verursachen. Der ausgefallene gluster1 sollte also so schnell wie möglich wieder in Betrieb gehen.

Stand

Der Inhalt der defekten Root-SSD von gluster1 lässt sich nicht mehr auslesen, die Bricks sind aber unbeschädigt.
Wir suchen nach dem besten Weg, gluster1 neu aufzusetzen und dabei die alten Bricks weiterzuverwenden. Es kommen mehrere Strategien in Frage.

[bau]

Dokumentation:
Die defekte SSD lässt sich nicht einhängen. Blöd: Es ist ein LV auf der extended-Partition 5, anscheinend hat es wichtige Daten des LVM zerschossen, so dass nur noch etwa 21GB von ~90GB des LV gelesen werden.

Auch der letzte Test, die ganze Platte mit dd und bs=512 zu kopieren scheiterte.
Die Platte ist definitiv unbrauchbar geworden.

Von dem, was sich da noch mounten lässt (nach einem fsck) ist leider weder /var noch /etc vorhanden :-(

[Rüdiger Kupper]

Dann ist der Weg also, gluster1 zu “rekonstruieren” oder einen neuen “gluster1b” aufzusetzen und dem die alten Bricks zuzuordnen.

[Rüdiger Kupper]

Unter AdminGlusterServerAufsetzen habe ich Schritt für Schritt dokumentiert, wie ich beim Aufsetzen der Server vorgegangen bin. Damit müsste es schnell gehen, einen neuen Server hochzuziehen. Die Bricks müssen ja *nicht* neu angelegt werden, die wollen wir weiternutzen.

[Rüdiger Kupper]

Aktuell sind noch immer die Versionen, die auch auf den laufenden Glustern sind: Debian 12 (bookworm) und GlusterFS 11.

[Rüdiger Kupper]

Die oben verlinkte Anleitung sollte also halbwegs aktuell sein (im unteren Teil ist sie noch nicht auf den 6er-Pool angepasst, dass würde ich dann nebenbei miterleben.

-> Benötigt wird eine neue Rootplatte mit Debian 12, dann folgen wir der Anleitung.

@bau

Wie gehen wir vor? Bauen wir die Platte direkt in das alte Gerät ein und setzen das System dort auf? Oder machen wir das besser auf einem abgetrennten System? Alternativ auch in VirtualBox, dann von dort ein Image ziehen und die echte Platte schreiben.

Mit so einem fertigen Gluster-Image könnte ich auch in VBox ein kleines Testsystem aus drei oder sechs Servern aufsetzen und das geplante Szenario durchspielen, bevor wir es real durchführen. (Pool und Volumes einrichten, Daten reinschreiben, einen Host mutwillig zerschießen und sehen, ob wir ihn wie geplant neu in Betrieb nehmen können.) Das wäre allerdings noch einige Arbeit.

Stephan hat angeregt, zusätzlich einen „Spare Server“ einzurichten, der bereit steht und dann schnell zur Stelle ist, wenn nächstes Mal ein Problem auftritt.

[Rüdiger Kupper]

Wobei: Wenn wir das machen (komplette Maschine mit System und fertig vorbereiteten Bricks), dann können wir auch gleich noch einen zweiten aufsetzen und unseren Pool auf vierfach-Redundanz erweitern ;-).

[Rüdiger Kupper]

Anfrage an die gluster-users-Liste:
​https://lists.gluster.org/pipermail/gluster-users/2024-June/040608.html

[Rüdiger Kupper]

Wir erreichen bald eine Million zu heilender Dateien auf dem fast-storage. (Auf slow-storage nur 55, scheinbar nutzt niemand aktiv die Tauschserver.)
-> Wie sieht es mit der neuen Platte für gluster1 aus?

[bau]

Platte ist fertig:

• Image der ganzen HDD auf die Platte per dd
• Partitionen 3 und 5 entfernt (da war ein SWAP drauf?)
• parted /dev/sda resizepart 1 100%
• e2fsck -f /dev/sda1
• resize2fs /dev/sda1

Beim Booten hat der sich beschwert, dass der SWAP weg war.
Hat letztlich aber gebootet - ist der rechte Rechner im Bücherkeller.

[Rüdiger Kupper]

Sehr gut! Die Swap-Partition muss da schon wieder drauf, oder? Die Debian-Installation legt sie jedenfalls defaultmäßig an.

[Rüdiger Kupper]

Gluster5 und 6 haben die Swappartition auch. Bei 1-4 sind wir aus irgend einem Grund anders vorgegangen, da ist die Swappartition (genau wie auch die Rootpartition) in einem LVM-Volume.

Was ist denn da vorzuziehen?

[bau]

Zudem gibt es auch noch die Möglichkeit, den SWAP in eine Datei zu legen.

[bau]

Oder noch besser: in das LVM auf dem RAID, dann hat man auf der RootPartition keinen Ärger damit.

[Rüdiger Kupper]

Es gibt gar kein RAID ;-). Nur jeweils eins für jede Brick auf den vier Platten.

[Rüdiger Kupper]

Swappen tun die gluster ja hoffentlich auch nicht. Aber irgend eine Art von Swap sollte es sicherheitshalber geben.

[bau]

Aber die Bricks liegen doch auf einem LVM - oder?

[Rüdiger Kupper]

Genau, auf jeder Platte ist ein LVM-Volume, das das ganze Device ausfüllt und darin liegen die Brick-Daten.