Suchdienste indizieren unser Trac

[Rüdiger Kupper]

Google und andere Suchdienste haben inzwischen unser Trac und Wiki gefunden (ist ja auch deren Aufgabe):
​http://www.google.de/search?q=WebUntisFaq

Frage: Wollen wir, dass die Suchdienste unser Wiki und unsere Tickets indizieren (wenn die Inhalte unkritisch sind ist das ja prinzipiell kein Problem). Sonst sollten wir eine ​`robots.txt` auf die Startseite legen -- alle öffentlichen Suchdienste halten sich daran.

[Rüdiger Kupper]

Bei der Suchanfrage "Kepler-Trac" in Google sind wir übrigens noch nicht auf Platz 1, sondern dieser Link hier: ​WikipediaDe:Kepler_Track.

[bau]

Ich denke, dass wir die Suchmaschinen aussperren sollten

[Rüdiger Kupper]

Dann brauchen wir im Root-Verzeichnis der Domain paedml.kg-fds.de eine Datei namens robots.txt mit folgendem Inhalt:

robots.txt

User-agent: *
Disallow: /trac/

[bau]

Datei ist in /var/www/ angelegt

[administrator]

Hm, Du hast die robots.txt am 5. oktober angelegt. Zumindest die Startseite wurde aber am 8. Oktober nochmal von Google indiziert und gecached:

​http://webcache.googleusercontent.com/search?q=cache:THqc3KdWM9gJ:paedml.kg-fds.de/trac+kepler-trac&cd=1&hl=en&ct=clnk&gl=de&client=firefox-a

Allerdings scheint das nur die Startseite zu betreffen. Alle anderen Seiten, die sich noch bei Google finden, wurden früher gecached.

[Rüdiger Kupper]

Habe bei Google einen Antrag auf Entfernung der gecachten Inhalte gestellt. Warum die Seite nach Erstellung der robots.txt noch indiziert wurde, bleibt allerdings unklar.

[Rüdiger Kupper]

Anfrage im Google Help Forum gestellt.

[Rüdiger Kupper]

Ich habe anscheinend die Ursache gefunden. Auf der Google-Webmaster-Tools-Seite kann man Crawlertest mit verschiedenen robots.txt-Dateien durchführen.

Ergebnis:
1) Enthält die "Disallow"-Zeile einen schließenden Schrägstrich ("Disallow: /trac/"), so *indiziert Google dieses Verzeichnis* (bzw. das index.html, auf das es implizit verweist). Alle Files unterhalb werden geblockt.
2) Enthält die "Disallow"-Zeile keinen schließenden Schrägstrich ("Disallow: /trac"), so wird auch das Verzeichnis (bzw. das index.html) nicht gecrawled.

Das ist in Übereinstimmung mit den Spezifikationen, die sagen, dass für die Entscheidung ein einfacher Substring-Match gemacht wird. Und "paedml.kg-fds.de/trac/" ist kein Substring von "paedml.kg-fds.de/trac".

Was mich veranlasst hatte, den Schrägstrich mit hinzuschreiben, war allerdings dieser Kommentar in der Wikipedia:
"The robots.txt patterns are matched by simple substring comparisons, so care should be taken to make sure that patterns matching directories have the final '/' character appended, otherwise all files with names starting with that substring will match, rather than just those in the directory intended."
Dort wird ausdrücklich empfohlen, den schließenden Schrägstrich zu schreiben. Auch alle Beispiele auf ​http://www.robotstxt.org/ sind mit schließendem Schrägstrich geschrieben.

Ich bin nicht sicher, ob Googles Interpretation wirklich im Sinne des Standards ist. Denn mit dieser Interpretation würde die Top-Level Seite einer Domain *immer* indiziert. Denn "​http://domain.de" hat keinen schließenden Schrägstrich, der Standard legt aber fest, dass mit "Disallow: /" *alle* Seiten gesperrt sind. Es gibt auch keine andere mögliche Notation.

--> robots.txt geändert in:

User-agent: *
Disallow: /trac

[Rüdiger Kupper]

Heute, 23.10.2011, gibt es keine Ergebnisse aus unserem Trac mehr auf die Anfrage ​http://www.google.com/search?q=site:kg-fds.de+Kepler-Trac.

[Rüdiger Kupper]

Man beachte allerdings die anderen Ergebnisse. Falls welche davon auch nicht auftauchen sollen...