Gluster-Server von cloud erreichbar machen

[Rüdiger Kupper]

Ich erreiche weder vom cloud-Rechner noch vom proxmoxls2 die Gluster-Server (10.3.0.x). Nextcloud sollte als erster Client direkt auf GlusterFS zugreifen.

@bau

Wie komme ich vom cloud-Container zu den Gluster-Servern?

[bau]

Grund ist eine fehlende Route in das Gluster-VLAN:

root@cloud:~# ip route sh
default via 192.168.150.6 dev eth0 proto static 
10.16.112.0/25 dev eth1 proto kernel scope link src 10.16.112.16 
10.32.0.0/12 dev eth2 proto kernel scope link src 10.32.1.4 
192.168.150.0/24 dev eth0 proto kernel scope link src 192.168.150.7 

Diese kann per CLI nachgetragen werden:

  ip route add 10.3.0.0/24 via 10.16.112.126

Das ganze muss noch persistent gemacht werden, das ging bislang in /etc/network/interfaces. Ubuntu ist aber ab 18.04 zu netplan gewechselt, da geht das mal wieder ganz anders, siehe ​https://lists.proxmox.com/pipermail/pve-user/2019-June/170733.html.

Aber systemd-networkd scheint unser Freund zu sein (/etc/systemd/networkd/eth1.network:

root@cloud:/etc/systemd/network# cat eth1.network 
[Match]
Name = eth1

[Network]
Description = Interface eth1 autoconfigured by PVE
Address = 10.16.112.16/25
DHCP = no
IPv6AcceptRA = false

Instruktionen unter ​https://forum.proxmox.com/threads/routing-inside-lxc-container-ubuntu-18.54873/ sagen, dass man dem ProxMox abgewöhnen muss, sich selbst um das Interface zu kümmern:

touch /etc/systemd/network/.pve-ignore.eth1.network

Die Route wird dann in /etc/systemd/network/eth1.network eingetragen:

(...)
Route]
Gateway=10.16.112.126
Destination=10.3.0.0/24

[Rüdiger Kupper]

Klappt, danke!

Replying to bau:

Instruktionen unter ​https://forum.proxmox.com/threads/routing-inside-lxc-container-ubuntu-18.54873/ sagen, dass man dem ProxMox abgewöhnen muss, sich selbst um das Interface zu kümmern:

touch /etc/systemd/network/.pve-ignore.eth1.network

Gibt es da im Proxmox-Interface keine Möglichkeit, Routen für den Container zu konfigurieren?

[Rüdiger Kupper]

Da ist er wieder, unser alter Bekannter, der unpriviligierte Container: dort darf man keine device-nodes per kmnod einrichten.

Abhilfe:

• in priviligierten Container verwandeln.
  • Nur über komplettes Backup und neu anlegen des Cloud-Containers möglich. Prinzipiell wahrscheinlich fie richtige Idee, das Backup-Neuanlegen will ich aber erst testen. Passiert im Zuge des Updates auf NC 23, was aber erst nach Gluster kpmmt :-)
  • hier wird davon sogar generell abgeraten (ganz unten): ​https://medium.com/myatus/quick-note-fuse-inside-proxmox-lxc-container-481706005a09
• route zu gluster-Servern auf proxmoxls2 einrichten, glusterFS dort mounten, in den Container per bind-Mount durchreichen (empfiehlt auch der Kommentar oben)

@bau

Kannst Du die Route zu den Gluster-Servern auch auf dem proxmoxls2 einrichten? Welche Debian-Version läuft dort?

@bau

Die Schülernetz-Clients brauchen auch eine solche Route, um auf die Gluster-Server zuzugreifen. Kannst Du mir schreiben, wie ich die unter Ubuntu 22.04 (Jammy) einrichte? Siehe #4509.

[Rüdiger Kupper]

Auf proxmoxls2: cat /etc/issue.net sagt Debian 10. Sehr git, dafür gibt es glusterfs-Pakete.

[Stephan Richter]

Replying to kup:

• hier wird davon sogar generell abgeraten (ganz unten): ​https://medium.com/myatus/quick-note-fuse-inside-proxmox-lxc-container-481706005a09

Gilt das auch für eine voll VM? Ansonsten könnte man die Gelegenheit nutzen, Nextcloud in eine VM umzuziehen.

Andererseits könnte man dann bei Bedarf den Gluster-Mount auch an andere Container durchreichen, was vermutlich eleganter ist.

[Stephan Richter]

Replying to kup:

@bau

Die Schülernetz-Clients brauchen auch eine solche Route, um auf die Gluster-Server zuzugreifen. Kannst Du mir schreiben, wie ich die unter Ubuntu 22.04 (Jammy) einrichte? Siehe #4509.

Ganz naive Frage: Routen in andere VLANs sollten doch (und können auch nur) auf dem Router (also in diesem Fall auf dem Switch ciscoServerraum!?) konfiguriert werden?

[Rüdiger Kupper]

Meines Wissens ist das nur eine Einschränkung der Container und sollte eine VM nicht betreffen.

Am Wed, 4 May 2022 15:36:35 +0000, Kepler-Trac schrieb:
>
>
>
>
>

[bau]

Die Routen sind auf dem Router konfiguriert - sie müssen auf den Clients aber benutzt/eingetragen werden.
Wenn das über die Standard-Route (Lehrernetz) geht, muss man garnichts tun - im Schülernetz hingegen läuft die Route zu den Glustern nicht über den Standard-Router muss also extra eingetragen werden - ebenso auf den Servern, die eine andere Standard-Route haben (deafult-Gateway).

[bau]

Route ist auf ProxMoxls2 eingerichtet - konnte dort in der /etc/network/interfaces persistent gemacht werden.