Gå til innhold
Trenger du hjelp med internett og nettverk? Still spørsmål her ×

Robots.txt og søkeverktøy


Anbefalte innlegg

Korleis kan eg fortelje søkemotorarskal utelatast i indeksen, med unnatak av to enkle mapper?

 

Desse skal indekserast:

http://www.domene.com/hund/

http://www.domene.com/katt/

 

Desse skal ikkje indekserast

http://www.domene.com/

http://www.domene.com/images/

http://www.domene.com/dokument/

osb...

 

Vidare står det eit domene på ein annan server som peiker rett på den "hemmelege" mappa /dokument. Dette heiter http://enkel.com -fil med følgande kode:

 

<html>

<head>

<title>Dokument</title>

</head>



<frameset framespacing="0" border="0" rows="*,1" frameborder="0">

 <frame name="Hoved" src="http://www.domene.com/dokument/" scrolling="auto">

 <frame name="bunntekst" scrolling="no" noresize target="hoved" src="ny_side_3.htm" marginwidth="0" marginheight="16">

 <noframes>

 <body>

 <p>Funka inte :s</p>

 </body>

 </noframes>

</frameset>

</html>

 

Vil då robotar sjå sida http://enkel.com

Lenke til kommentar
Videoannonse
Annonse

Du trenger en robots.txt fil ja. Du finner masse informasjon om dette hvis du søker på Google. Det er ikke alle søkemotorer som bryr seg om robots.txt fila, men jeg tror at bot'er som Googlebot gjør det.

Skal du være på den sikre siden kan du bruke apache mod_rewrite, men det krever at du drifter din egen server.

Lenke til kommentar

Eksempler...

robots.txt

User-agent: *

Disallow: /images/

Disallow: /dokument/

 

Meta tags for robots: (header)

<title>VIKTIG</title>

<meta name="Robots" content="index,follow">

<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">

<META HTTP-EQUIV="EXPIRES" CONTENT="0">

<META NAME="RESOURCE-TYPE" CONTENT="DOCUMENT">

<META NAME="DISTRIBUTION" CONTENT="GLOBAL">

<META NAME="AUTHOR" CONTENT="deg">

<META NAME="REVISIT-AFTER" CONTENT="1 DAYS">

<META NAME="RATING" CONTENT="GENERAL">

<meta name="description" content="VIKTIG">

<meta name="keywords" content="VIKTIG">

Vil du holde folk unna visse foldere, bruk .htaccess

 

EDIT: Eller så er det vel ISO-8859-4 hvis du har norsk tekst hvis jeg ikke husker feil...

Lenke til kommentar
...men det krever at du drifter din egen server.

Eg har ein IIS med FP2002 (Server Extensions), men mangler driftserfaring. Det er eit hobbyprosjekt, og eg lære masse av detta!! :smile:

 

Men då er konklusjonen at eg ikkje kan sei Allow, og såleis må eg putta inn absolutt alle mapper som Disallow (med unnatak av akkurat dei to eg vil ha indeksert då..)

 

Vil du holde folk unna visse foldere, bruk .htaccess

Ikkje at eg kan .htaccess, men eg ønsker at alle som kjenner adressa fritt skal kunne surfa der. Søkemotorane skal ikkje indeksera, for eg ønsker ikkje at folk skal søka seg fram til sida.

Ingen passord eller brukarautentisering, mao.

Lenke til kommentar

Opprett en konto eller logg inn for å kommentere

Du må være et medlem for å kunne skrive en kommentar

Opprett konto

Det er enkelt å melde seg inn for å starte en ny konto!

Start en konto

Logg inn

Har du allerede en konto? Logg inn her.

Logg inn nå
  • Hvem er aktive   0 medlemmer

    • Ingen innloggede medlemmer aktive
×
×
  • Opprett ny...