oc_filecache aufräumen

[Rüdiger Kupper]

99% der NC-Datenbank verfallen auf die Tabelle filecache. Dort liegen z.B. Tausende von Karteileichen aus früheren Anbindungsversuchen des Fileservers.
Den Fileserver wie derzeit anzubinden ist auch keine gute Idee, doch zumindest diese Karteileichen gehören entfernt, weil sie zu nichts mehr dienen und den Datenbankzugriff auf diese Tabelle ausbremsen.

[Rüdiger Kupper]

Ich nehme das jetzt in Angriff und werde in den kommeden Wochen chirurgische Eingriffe in die Datenbank machen, mit dem Ziel, überflüssige Karteileichen zu entfernen. Natürlich immer mit Backups.

[Rüdiger Kupper]

Storage 63 war offenbar der Versuch, das komplette /home/share für jeden Nutzer einzubinden.

MariaDB [nextcloud]> DELETE FROM oc_filecache WHERE storage=63;
Query OK, 47909 rows affected (34 min 35,799 sec)

[Rüdiger Kupper]

Ebenso: Storage 70, 67, …

MariaDB [nextcloud]> DELETE FROM oc_filecache WHERE storage=70;

MariaDB [nextcloud]> DELETE FROM oc_filecache WHERE storage=67;
Query OK, 100963 rows affected (1 hour 22 min 9,361 sec)

MariaDB [nextcloud]> DELETE FROM oc_filecache WHERE storage in (181,186,195,201,211,232,251,239,254,378,347,362,310,346,537,556,325,328,301,278,356,332,359,553,283,355,277,263,368,553,350,263,283,359,374,308,547,299,335,296,374,541,269,374,541,269,275,296);
Query OK, 610225 rows affected (43 min 12,021 sec)

MariaDB [nextcloud]> DELETE FROM oc_filecache WHERE storage in (338,293,344,365,341,260,322,544,266,338,272,550,281,365,287,266,567,319,265,319,677,1117);
Query OK, 447907 rows affected (1 hour 14 min 35,764 sec)

[Rüdiger Kupper]

Andere Storages stammen noch vom (sehr naiven) Versuch, die Homeverzeichnisse komplett mit allem drum und dran freizugeben. (Damals hatte ich noch nicht verstanden, wie NC wirklich arbeitet.)

Betrifft z.B. Storage 265, 268, 334, 676, 1116, 220, 5176, 30, 66, 69, 180, 185, 250, 253, 367, 370, 373, 555, 262, 268, 566, 569, 572, 575, 377, 578, 581, 584, 318, 587, 676, 1361, 1747, 220, 3879, 5176

DELETE FROM oc_filecache WHERE storage IN (265, 268, 334, 676, 1116, 220, 5176, 30, 66, 69, 180, 185, 250, 253, 367, 370, 373, 555, 262, 268, 566, 569, 572, 575, 377, 578, 581, 584, 318, 587, 676, 1361, 1747, 220, 3879, 5176);
Query OK, 301359 rows affected (58 min 38,270 sec)

Storage 5290 war mir noch durch die Lappen gegangen, ebenfalls entfernt.

[Rüdiger Kupper]

Das hat schon mal etwa 1,5 Mio. überflüssige Zeilen aus der Tabelle entfernt.

Leider nur ein Tropfen auf den heißen Stein, die Tabelle hat jetzt noch immer 72 Mio Zeilen:

ariaDB [nextcloud]> select count(*) from oc_filecache;
+----------+
| count(*) |
+----------+
| 72036310 |
+----------+

Mal schauen, ob mir noch was einfällt.

[Rüdiger Kupper]

Ach Du Sch… 46 Mio Zeilen sind auf die lampp-Installation zurückzuführen, die ehemals im Informatik-Tauschordner lag, die wir aber schon seit langem wegverschoben haben:

MariaDB [nextcloud]> select count(*) from oc_filecache where path like '%Informatik/lampp%';
+----------+
| count(*) |
+----------+
| 45978930 |
+----------+

Das ist ein Batzen! Weg damit!

[Rüdiger Kupper]

und schon ist der SQL-Dump nur noch 7,5GB groß statt 17GB.

Das läuft in die richtige Richtung ;-).

[Rüdiger Kupper]

Previews sind die nächste größere Baustelle.

[Rüdiger Kupper]

Siehe z.B.
​https://help.nextcloud.com/t/how-to-clean-up-nextcloud-data-appdata-and-updater/123746

[Rüdiger Kupper]

Beim Einrichten der „Memories“+App fällt auf, dass es noch viele Einträge in oc_filescache gibt, die ich nicht gefunden hatte.
Identifizieren und löschen.

[Rüdiger Kupper]

Update:

Nach Entfernen auch des Lehrertauschservers, weiterem Entfernen von Karteileichen, die auf nicht mehr vorhandene Shares verweisen und vor allem Löschen des "preview"-Ordners mit anschließendem Scan ließ sich die Tabelle "oc_filescan" auf der Platte auf unglaubliche 184MB(!!!) abschmelzen. (Es waren mal 15GB!)

[Rüdiger Kupper]

Fürs Protokoll:

• Hier ist beschrieben, wie man den existierenden preview-Ordner im Data-Verzeichnis entfernen kann. (Aber Achtung, das kann sehr lange dauern! Besser den Ordner zuerst aus dem Data-Verzeichnis rausschieben und dann einen neuen, leeren preview-ordner anlegen und www-data übereignen.) ​https://github.com/nextcloud/previewgenerator/issues/94#issuecomment-1704856771