Hardware.no: Hindre crawling på bruktmarkedet

[qdos]

I et svakt øyeblikk la jeg ut både epost-adresse og telefonnummer i en annonse på bruktmarkedet. Da jeg noen uker senere googlet meg selv, kom denne informasjonen opp - noe som betyr at den er tilgjengelig for alle andre også, inkludert spammere, telefonselgere og fandens oldemor.

 

Burde ikke roboter vært ekskludert fra disse sidene?

[lavizh]

Hvordan skal man ekskludere roboter fra dette da ?

 

Du kunne skrevet : jalla (at) hotmail.com ... så hadde ikke roboten sporet opp mailen din.

Endret 20. november 2005 av lavizh

[qdos]

Hvordan skal man ekskludere roboter fra dette da ?

 

Du kunne skrevet : jalla (at) hotmail.com ... så hadde ikke roboten sporet opp mailen din.

5179125[/snapback]

I robots.txt og i meta-tagen.

 

Edit: Mer info her

Endret 20. november 2005 av Jarlsberg

[squabbish]

Hadde det blitt endret slik at man måtte logge seg inn for å få tilgang til bruktmarkedet, hadde vel problemet vert løst, men det er muligens et litt drastisk tiltak.

Endret 20. november 2005 av squabbish

[qdos]

Bør vel være enkelt å ekskludere roboter, slik jeg antar Finn.no og mange andre gjør?

[JohndoeMAKT]

Jepp, det samme har jeg gjort og liker det ikke.

Telefonnummer og fullt navn på første hit ved å google min epostadresse er ikke optimalt selv om det er "spam" kontoen min.

 

EDIT: Det finnes vel magiske ord du kan skrive i header eller i en tag som gjør at crawlers ikke indekserer siden.

Endret 20. november 2005 av JohndoeMAKT

[qdos]

Det finnes vel magiske ord du kan skrive i header eller i en tag som gjør at crawlers ikke indekserer siden.

5179278[/snapback]

Jepp:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

[friskies]

Finnes endel spiders som ignorerer anti-tags:(

[qdos]

Jo, men de store søkemotorene, som folker stort sett bruker, respekterer vel disse?

[BlackDeath]

Har ikke peil på tags eller HTML, men hva med å legge ut adresse, TLF + + som et jpg bilde?

 

 

Kent

[qdos]

Har ikke peil på tags eller HTML, men hva med å legge ut adresse, TLF + + som et jpg bilde?

5179994[/snapback]

Jo det er også et alternativ, men det blir fort mer komplisert å implementere en funksjon som skal generere bilder av en del av teksten enn noen enkle tager på sidene. Men det optimale er å kombinere begge to.

[Dahl]

Jo, men de store søkemotorene, som folker stort sett bruker, respekterer vel disse?

5179928[/snapback]

Ja, men det finnes mange roboter som spammere benytter, og disse eksluderer ikke sider som blir bedt om det.

 

Et JPG-bilde av informasjonen er en god idé, og det er ikke spesielt avansert å få til en automatisk funksjon til dette.

[ATWindsor]

Jo, men de store søkemotorene, som folker stort sett bruker, respekterer vel disse?

5179928[/snapback]

Ja, men det finnes mange roboter som spammere benytter, og disse eksluderer ikke sider som blir bedt om det.

 

Et JPG-bilde av informasjonen er en god idé, og det er ikke spesielt avansert å få til en automatisk funksjon til dette.

5184631[/snapback]

 

Skulle ikke være det nei, kan man ike balnt annet gjøre det ganske enkelt i php?

 

AtW

[Dahl]

Det stemmer.

[pej]

Har nå endret robots.txt slik at den ikke henter informasjon fra annonse.php og bruker.php.

[BennyXNO]

Har nå endret robots.txt slik at den ikke henter informasjon fra annonse.php og bruker.php.

5218884[/snapback]

 

Positivt!