oblivian Skrevet 22. juni 2003 Skrevet 22. juni 2003 Jeg har et område på web serveren min som er begrenset med .htaccess. Jeg har også satt denne katalogen til disallow i robots.txt. Men det som er sprøtt er at spidere har indexert sider i det sperrede området. Dvs. hvis jeg f.eks. søker på google så får jeg hits og linker til materiale i de sperrede områdene. Når man trykker så kommer man selvsagt ikke inn, men hvordan er det mulig at robotene kommer seg forbi sperrene så de klarer å indexere?
Anbefalte innlegg
Opprett en konto eller logg inn for å kommentere
Du må være et medlem for å kunne skrive en kommentar
Opprett konto
Det er enkelt å melde seg inn for å starte en ny konto!
Start en kontoLogg inn
Har du allerede en konto? Logg inn her.
Logg inn nå