close Warning: Can't synchronize with repository "keplertools" (/srv/svn/keplertools does not appear to be a Subversion repository.). Look in the Trac log for more information.

Opened 5 years ago

Closed 5 years ago

#4336 closed Aufgabe (erledigt)

GlusterFS aufsetzen

Reported by: Rüdiger Kupper Owned by: Rüdiger Kupper
Priority: unverzüglich erledigen Milestone: Gluster: Gluster-Cluster ist eingerichtet
Component: Server: Fileserver Severity: beeinträchtigt den Unterricht vieler Lehrer
Keywords: Cc: bau

Description (last modified by Rüdiger Kupper)

Speicherplatz auf dem alten Server ist schon wieder recht knapp.
Dieser Milestone sollte bis zum Ende der Faschingsferien abgeschlossen sein!

Change History (24)

comment:1 by Rüdiger Kupper, 5 years ago

Owner: changed from bau to Rüdiger Kupper
Status: new → accepted

comment:2 by Rüdiger Kupper, 5 years ago

Cc: netzwerk removed
Description: modified (diff)
Priority: hoch → höchste
Severity: normal → kritisch

comment:3 by bau, 5 years ago

Habe in den Faschingsferien keine Kapazitäten frei :-(

comment:4 by Rüdiger Kupper, 5 years ago

Okay, ich schaue, was ich hinbekomme. Ziel ist erst mal, dass das GlusterFS läuft und auf dem paedml eingebunden ist.

comment:5 by Rüdiger Kupper, 5 years ago

Ah, ich habe die IPs der glusterserver vergessen – finde ich die irgendwie raus, ohne vorbei zu gehen?

Last edited 5 years ago by Rüdiger Kupper (previous) (diff)

comment:6 by Rüdiger Kupper, 5 years ago

Hab's gefunden, von proxmoxls2:

10.0.201.97 gluster1
10.0.201.9 gluster2
10.0.235.92 gluster3
10.0.201.95 gluster4

Last edited 5 years ago by Rüdiger Kupper (previous) (diff)

comment:7 by Rüdiger Kupper, 5 years ago

Leider scheinen die Maschinen aus zu sein. Jedenfalls nicht erreichbar... Schalten die sich irgendwann ab?

comment:8 by bau, 5 years ago

Die Glusters haben irgendwann einmal auf deinen Wunsch hin fixe IP bekommen:

  • gluster1 10.0.255.1
  • gluster2 10.0.255.2
  • gluster3 10.0.255.3
  • gluster4 10.0.255.4

Sie sind im VLAN 18 (extra für Gluster eingerichtet):

  • 10.3.0.1 gluster1
  • 10.3.0.2 gluster2
  • 10.3.0.3 gluster3
  • 10.3.0.4 gluster4
  • 10.3.0.254 ciscoServerraum

ciscoServerraum routet auch schon in das Lehrernetz, so dass die GlusterFS-Server vom paedml auch schon erreichbar sind.

Last edited 5 years ago by bau (previous) (diff)

comment:9 by bau, 5 years ago

Habe das mal in die /etc/hosts auf dem paeml eingetragen.

in reply to:  8 comment:10 by Rüdiger Kupper, 5 years ago

Replying to bau:

Die Glusters haben irgendwann einmal auf deinen Wunsch hin fixe IP bekommen:

  • gluster1 10.0.255.1
  • gluster2 10.0.255.2
  • gluster3 10.0.255.3
  • gluster4 10.0.255.4

Ah, super! Ja, hatte ich mir gewünscht, damit man es sich besser merken kann. Hat ja prächtig funktioniert ;-).

Sie sind im VLAN 18 (extra für Gluster eingerichtet):

  • 10.3.0.1 gluster1
  • 10.3.0.2 gluster2
  • 10.3.0.3 gluster3
  • 10.3.0.4 gluster4
  • 10.3.0.254 ciscoServerraum

ciscoServerraum routet auch schon in das Lehrernetz, so dass die GlusterFS-Server vom paedml auch schon erreichbar sind.

Hervorragend!

comment:11 by Rüdiger Kupper, 5 years ago

Ist diese Seite hier eigentlich noch aktuell?
AdminIp
Sollten wir die VLANs da hinzufügen?

comment:12 by bau, 5 years ago

Die müsste mal überarbeitet werden, ich habe die IPs in einer Datei gesammelt.

comment:13 by Rüdiger Kupper, 5 years ago

Dann können wir die Datei ja auf die Seite kopieren.

comment:14 by bau, 5 years ago

erledigt

comment:15 by Rüdiger Kupper, 5 years ago

Milestone: Fileserver: Kompletter Umstieg auf GlusterFS → Fileserver: Gluster-Cluster ist eingerichtet

in reply to:  14 comment:16 by Rüdiger Kupper, 5 years ago

Replying to bau:

erledigt

Sehr gut.

comment:18 by Rüdiger Kupper, 5 years ago

Zwei Gluster-Volumes sind aufgesetzt:

fast storage
bestehend aus den schnellen SSD sdb/sdc
slow storage
bestehend aus den rotierenden sdd/sde

Vorgehen siehe AdminGlusterAufsetzen.

comment:19 by Rüdiger Kupper, 5 years ago

Leider habe ich eben alle vier Server in einen nicht-bootenden Zustand versetzt (vermutlich mit einer falschen mount-Option in der fstab).
Muss also an die Schule, um das zu beheben. Danach müssen die Gluster-Volumes nur noch aktiviert werden.

comment:20 by bau, 5 years ago

Nach dem Auskommentieren der Zeilen:

# Gluster bricks:
#/dev/mapper/gfs_vg_b-gfs_lv_b /mnt/gluster/b  xfs rw,inode64,noatime,nouuid,acl  
#/dev/mapper/gfs_vg_c-gfs_lv_c /mnt/gluster/c  xfs rw,inode64,noatime,nouuid,acl  
#/dev/mapper/gfs_vg_d-gfs_lv_d /mnt/gluster/d  xfs rw,inode64,noatime,nouuid,acl  
#/dev/mapper/gfs_vg_e-gfs_lv_e /mnt/gluster/e  xfs rw,inode64,noatime,nouuid,acl

booteten die Server - Abhilfe wäre z.B. durch die Option nofail möglich.
Wahrscheinlich müsste aber nach dem Booten geschaut werden, dass auch alle Volumens gemountet sind.

in reply to:  20 comment:21 by Rüdiger Kupper, 5 years ago

Replying to bau:

Nach dem Auskommentieren der Zeilen:

# Gluster bricks:
#/dev/mapper/gfs_vg_b-gfs_lv_b /mnt/gluster/b  xfs rw,inode64,noatime,nouuid,acl  
#/dev/mapper/gfs_vg_c-gfs_lv_c /mnt/gluster/c  xfs rw,inode64,noatime,nouuid,acl  
#/dev/mapper/gfs_vg_d-gfs_lv_d /mnt/gluster/d  xfs rw,inode64,noatime,nouuid,acl  
#/dev/mapper/gfs_vg_e-gfs_lv_e /mnt/gluster/e  xfs rw,inode64,noatime,nouuid,acl

booteten die Server -

Ah, super, danke! – Wollte mich grade auf zur Schule machen, das kann ich mir jetzt sparen :-).

Ja, genau, die letzte Option "acl" ist der Übeltäter. Laut Manual braucht man die, um die Access-Control-Lists zu aktivieren. Die Linuxmusterlösung nutzt die ja – leider weiß ich nicht mehr genau, wo. ich glaube, bei den Projekt-Tauschordnern.
Ds Gluster-Manual scheint leider nicht mehr an allen Stellen aktuell zu sein. Nach etwas Recherche habe ich gefunden, dass ACLs bei XFS seit Längerem schon defaultmäßig aktiviert sind (wie auch bei ext2/3/4). Vielleicht wurde die Mount-Option deshalb entfernt?
Konntest Du auf dem Bildschirm irgendwelche Fehlermeldungen lesen?

Abhilfe wäre z.B. durch die Option nofail möglich.
Wahrscheinlich müsste aber nach dem Booten geschaut werden, dass auch alle Volumens gemountet sind.

Ja, genau so was. Insgesamt sollten wir die Server in einen Zustand bringen, dass sie möglichst immer so weit booten, dass man per ssh draufkommt. Auch im Fall eines Plattenschadens o.ä. Keine Ahnung, ob es da auch im BIOS eine Einstellunge gibt, so was wie "never stop on errors"?

comment:22 by Rüdiger Kupper, 5 years ago

In der Tat, die ACLs sind defaultmäßig aktiviert, man sieht es in den Optionen, mit denen der Kernel compiliert wurde:

root@gluster1:~# cat /boot/config-4.19.0-20-amd64 | grep ACL
CONFIG_EXT4_FS_POSIX_ACL=y
CONFIG_REISERFS_FS_POSIX_ACL=y
CONFIG_JFS_POSIX_ACL=y
CONFIG_XFS_POSIX_ACL=y
CONFIG_BTRFS_FS_POSIX_ACL=y
CONFIG_F2FS_FS_POSIX_ACL=y
CONFIG_FS_POSIX_ACL=y
CONFIG_TMPFS_POSIX_ACL=y
CONFIG_JFFS2_FS_POSIX_ACL=y
CONFIG_NFS_V3_ACL=y
CONFIG_NFSD_V2_ACL=y
CONFIG_NFSD_V3_ACL=y
CONFIG_NFS_ACL_SUPPORT=m
CONFIG_CEPH_FS_POSIX_ACL=y
CONFIG_CIFS_ACL=y
CONFIG_9P_FS_POSIX_ACL=y

Daszu wissen hätte mir den Absturz gestern vermieden :-/.

in reply to:  20 comment:23 by Rüdiger Kupper, 5 years ago

Replying to bau:
Abhilfe wäre z.B. durch die Option nofail möglich.

Habe ich jetzt hinzugefügt und das fehlerhafte "acl" entfernt.

Wahrscheinlich müsste aber nach dem Booten geschaut werden, dass auch alle Volumens gemountet sind.

Ich hoffe, dass Gluster in dem Fall Bescheid sagt …

comment:24 by Rüdiger Kupper, 5 years ago

Resolution: → erledigt
Status: accepted → closed

Die Gluster-Volumes "fast-storage" und "slow-storage" laufen jetzt.

Note: See TracTickets for help on using tickets.