#5304 closed Verbesserung (erledigt)
nextcloud-data nach slow-storage umziehen
| Reported by: | Rüdiger Kupper | Owned by: | Rüdiger Kupper |
|---|---|---|---|
| Priority: | bei Gelegenheit | Milestone: | Schuljahr 2025/26 |
| Component: | Webdienst: Kepler-Cloud | Severity: | beeinträchtigt keinen Unterricht |
| Keywords: | Cc: | bau, Stephan Richter |
Description
Der Speicher in der Kepler-Cloud liegt derzeit auf den SSD-Platten der Gluster-Server. Genutzt wird die Cloud vorwiegend zur Dateiablage und für Backups.
Der Cloudspeicher wäre also besser auf den rotierenden Platten verortet. Das würde uns auch von Sorgen befreien, dass in der Cloud der Speicher knapp wird.
Change History (12)
comment:1 by , 2 years ago
comment:2 by , 2 years ago
Da wir derzeit noch keine Speicherknappheit haben würde ich den Umzug gern in den Sommerferien machen.
comment:3 by , 2 years ago
| Resolution: | → ungültig |
|---|---|
| Status: | new → closed |
comment:4 by , 21 months ago
| Milestone: | Schuljahr 2023/24 → Schuljahr 2025/26 |
|---|---|
| Resolution: | ungültig |
| Status: | closed → reopened |
comment:5 by , 20 months ago
Habe ein estes cp angeworfen (cp belastet GlusterFS weniger als rsync). Als "Kopierer" habe ich den paedml genommen, weil auf dem beide Volumes (slow-storage und fast-storage) standardmäßig gemeountet sind.
Zukünftige Updates der Daten nutzen dann rsync -a und in den Ferien können wir NC auf den neuen Speicherort umstellen.
comment:6 by , 20 months ago
Der erste cp-Lauf ist durch, es werden jetzt nur noch inkrementelle rsyncs benötigt. Prinzipiell könnten wir NC damit an einem Tag auf‘s slow-storage umstellen.
Bei näherer Betrachtung wäre es geschickt, wenn bestimmte Teile des Nextcloud-data-Verzeichnisses weiter auf dem fast-storage lägen, insbesondere das „app_data“-Verzeichnis. Darin liegen beispielsweise die Preview-Grafiken für die Dateien, die sollten möglichst schnell zugreifbar sein.
- @bau, @rich
- Frage: Kann man innerhalb eines gemounteten Dateibaums einen anderen Dateibaum „drübermounten“? Also so, dass ein Unterbaum von einem anderen Device kommt? Das geht schon, oder? Muss man dabei auf etwas besonderes achten, oder kann man das einfach so in die fstab schreiben?
comment:7 by , 20 months ago
| Cc: | added |
|---|
Beträfe insbesondere die Unterordner
- appdata_ocsten688pqw/ (24GB)
- appdata_snappymail/ (15MB)
comment:8 by , 20 months ago
Ein Stichwort ist "overlay-fs", doch das ist für diesen Zweck, wo wir lediglich zwei genau bekannte Subbäume drübermounten wollen, vermutlich Overkill:
https://wiki.archlinux.org/title/Overlay_filesystem
comment:9 by , 20 months ago
Einfaches "Drübermounten" ist eher, was ich meine:
https://unix.stackexchange.com/questions/198542/what-happens-when-you-mount-over-an-existing-folder-with-contents
comment:10 by , 20 months ago
| Resolution: | → erledigt |
|---|---|
| Status: | reopened → closed |
Das hat erstaunlich gut funktioniert.
- Das NC-Data-Verzeichnis liegt nun auf slow-storage (dort liegen alle Nutzerdateien)
- Die Unterverzeichnisse, die App-Daten enthalten, liegen weiterhin auf fast-storage (z.B. Icon-Previews und Mail-Header).
comment:11 by , 20 months ago
Kleine Korrektur: das mit den drübergemounteten app-Verzeichnissen klappt auf dem Proxmoxls4, man muss sie aber natürlich auch an den Container durchreichen. Das fehlt noch.
comment:12 by , 20 months ago
Hier wurde es dann hässlich: Was auf dem proxmoxls4 (bare metal) so bequem und problemlos funktioniert (übermounten von Verzeichnisbäumen) ist dem Proxmox nicht beizubringen. Die Mountpoints müssen der Reihe nach an den Container per bind-Mount durchgereicht werden und da ist proxmox wohl etwas vorschnell. Im laufenden Betrieb kann man die Übermounts konfigurieren und alles klappt prima. Bei einem Neustart des proxmoxls4 sieht die Sache aber völlig anders aus, da verschluckt sich das System und die ganzen Übermounts schlagen fehl.
Ich habe derzeit keinen Fix oder Workaround hierfür, obwohl ich verschiedene Setups durchgespielt habe.
Übermounts mit Proxmox sind wohl derzeit einfach nicht zu realisieren.
-> Derzeit laufen die kompletten Nextcloud-Daten (inklusive aller app-Daten) vom slow-storage.
Für mich ist die Performance aber durchaus zügig. Wenn es keine Beschwerden gibt, soll das von mir aus so bleiben.
Die Umstellung dürfte problemlos und relativ schnell gehen, da sie nur den cloud-Rechner betrifft. Also etwa gut in den Pfingst- oder Sommerferien. Während der Umstellung müsste die Cloud offline sein.