Robots.txt er 25 år. Ble framprovosert fram av en science fiction-forfatter

[Harald Brombach (digi.no)]

Robots.txt er 25 år. Ble framprovosert fram av en science fiction-forfatter

[Gavekort]

Det er en vandrehistorie på det universitetet jeg gikk på som var at en professor hadde satt opp en liten webserver med noen fancy rekursive lenker og i etterkant trigget en ung, mindre bugfri Google webcrawler til å gå beserk og i praksis gjøre et Denial of Service angrep som tok ned nettverket på hele campuset.

 

Vet ikke hva moralen i denne historien er. Noen ganger er det greit å kunne bortvise botter?

[007CD]

Det er en vandrehistorie på det universitetet jeg gikk på som var at en professor hadde satt opp en liten webserver med noen fancy rekursive lenker og i etterkant trigget en ung, mindre bugfri Google webcrawler til å gå beserk og i praksis gjøre et Denial of Service angrep som tok ned nettverket på hele campuset.

 

Vet ikke hva moralen i denne historien er. Noen ganger er det greit å kunne bortvise botter?

 

Er jo bare kos å bli DDoSet av Google da! De må jo også få lov til å være med på DDoS festen!

Men men, de botene som har andre hensikter ignorerer Robots.txt

Så har du dem som dukker opp i søketreffene med teksten "Sperret av robots.txt" eller noe ala den...

[vidor]

Robotene har nok blitt litt smartere på 25 år. Administrerte en kommerisell webside og brukte GoggleAds og Webadministrator tool hvor jeg kunne regulere hvor mye Google skulle crawle, og den justerte jeg opp til max, og det var egentlig fremdeles for lite for at Google skulle være godt oppdatert på forumet. Nyhetssakene var sånn høvelig greit crawlet.

[mandela]

Verdt å merke seg er at robots.txt ikke fjerner sider fra søket;

 

"To properly prevent your URL from appearing in Google Search results, you should password-protect the files on your server or use the noindex meta tag or response header (or remove the page entirely)."

 

https://support.google.com/webmasters/answer/6062608