Suchenmaschinen Bots und nicht alle Seiten indexieren

ghostadmin

Grand Admiral Special
Mitglied seit
11.11.2001
Beiträge
25.179
Renomée
184
Standort
Dahoam Studios
Tja eigentlich gibt es ja die Robots.txt die verhindern soll das bestimmte Seiten im Index landen, nur ist wohl leider so das wenn man auf der Seite Links zu bestimmten Seiten hat, das diese trotzdem indexiert werden. Nun habe ich die nicht erwünscht zu indexierende Seite, hier suchen2.php, wieder aus der robots.txt entfernt und in allen Links ein rel="nofollow" hinfzugefügt.
z.B.
Code:
<a href="suchen2.php?q=alfine" rel="nofollow">alfine(2)</a>

Siehe auch: https://expiredweb.net/1468-robots-txt-vs-noindex
Nun sehe ich in den Logs aber das noch ein Get request auf dem Link stattfindet vom Bot, ist das normal?

Grund für die Frage ist, ich habe die letzten 10 Suchbegriffe noch einmal zum anklicken als Link auf der Seite und wenn die der Bot abgrast dann sieht das wie eine neue Suche aus. Es ist hier zu sehen: http://radtechnik.awiki.org
Eigentlich wollte ich ja dem User die Suche erleichtern, dass wenn er nochmal das gleiche sucht es nicht nochmal eintippen muss.
 
Zuletzt bearbeitet:
Ne die stimmt, kann man von google auch testen lassen.
noindex im href gibts glaube nicht, nur bei meta und das ist ja nebst nofollow, noarchive und nosnippet bereits drin.
 
nofollow heißt ja nur, dass der Bot dem Link nicht folgt und nicht, dass Google die Seite nicht in den Index nimmt. Wenn es noch andere Links gibt oder die Daten aus der Suchleiste übertragen werden, kann Google die Seite trotzdem kennen und indexieren. Ein noindex direkt im header der Seite wäre da wirklich besser.
 
Zurück
Oben Unten