Zitat von
Lookbehind
Macht er doch ...
Nein, macht er nicht.
Seine Seite ist sowohl über /about als auch über about.php aufrufbar.
Mal abgesehen davon, was wäre denn so schlimm daran?
Wegen duplicate contents: https://support.google.com/webmaster...er/66359?hl=de
Die entsprechende Filterung bewirkt beispielsweise, dass bei einer Website mit jeweils einer "normalen" Version und einer "druckbaren" Version der einzelnen Artikel nur eine der beiden Versionen [...] angezeigt wird
Das ist ja genau das, was Feuerstern nicht will: Google entscheiden lassen, was genommen wird.
Außerdem kann es sein, dass Google einen Betrugsversuch erkennt (da man nicht weiß, worauf Google hier achtet, kann man natürlich auch zu den false positives gehören), man aus dem Index geschmissen wird („In den seltenen Fällen, in denen wir annehmen müssen, dass duplizierter Content mit der Absicht angezeigt wird, das Ranking zu manipulieren oder unsere Nutzer zu täuschen, nehmen wir die entsprechenden Korrekturen am Index und Ranking der betreffenden Websites vor. Infolgedessen werden diese Websites unter Umständen in den Suchergebnissen niedriger eingestuft oder sogar aus dem Google-Index entfernt und damit nicht mehr in den Suchergebnissen angezeigt.“)
Außerdem wird das bolckieren mittels robots.txt nicht empfohlen (das ist ja die eigentliche Frage im Titel):
Das Blockieren des Crawler-Zugriffs auf duplizierte Inhalte auf Ihrer Website durch eine robots.txt-Datei oder sonstige Methoden wird nicht mehr empfohlen.