Gå til innhold
Trenger du hjelp med internett og nettverk? Still spørsmål her ×

Robots.txt og søkeverktøy


Anbefalte innlegg

Korleis kan eg fortelje søkemotorarskal utelatast i indeksen, med unnatak av to enkle mapper?

 

Desse skal indekserast:

http://www.domene.com/hund/

http://www.domene.com/katt/

 

Desse skal ikkje indekserast

http://www.domene.com/

http://www.domene.com/images/

http://www.domene.com/dokument/

osb...

 

Vidare står det eit domene på ein annan server som peiker rett på den "hemmelege" mappa /dokument. Dette heiter http://enkel.com -fil med følgande kode:

 

<html>

<head>

<title>Dokument</title>

</head>



<frameset framespacing="0" border="0" rows="*,1" frameborder="0">

 <frame name="Hoved" src="http://www.domene.com/dokument/" scrolling="auto">

 <frame name="bunntekst" scrolling="no" noresize target="hoved" src="ny_side_3.htm" marginwidth="0" marginheight="16">

 <noframes>

 <body>

 <p>Funka inte :s</p>

 </body>

 </noframes>

</frameset>

</html>

 

Vil då robotar sjå sida http://enkel.com

Lenke til kommentar
Videoannonse
Annonse

Du trenger en robots.txt fil ja. Du finner masse informasjon om dette hvis du søker på Google. Det er ikke alle søkemotorer som bryr seg om robots.txt fila, men jeg tror at bot'er som Googlebot gjør det.

Skal du være på den sikre siden kan du bruke apache mod_rewrite, men det krever at du drifter din egen server.

Lenke til kommentar

Eksempler...

robots.txt

User-agent: *

Disallow: /images/

Disallow: /dokument/

 

Meta tags for robots: (header)

<title>VIKTIG</title>

<meta name="Robots" content="index,follow">

<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">

<META HTTP-EQUIV="EXPIRES" CONTENT="0">

<META NAME="RESOURCE-TYPE" CONTENT="DOCUMENT">

<META NAME="DISTRIBUTION" CONTENT="GLOBAL">

<META NAME="AUTHOR" CONTENT="deg">

<META NAME="REVISIT-AFTER" CONTENT="1 DAYS">

<META NAME="RATING" CONTENT="GENERAL">

<meta name="description" content="VIKTIG">

<meta name="keywords" content="VIKTIG">

Vil du holde folk unna visse foldere, bruk .htaccess

 

EDIT: Eller så er det vel ISO-8859-4 hvis du har norsk tekst hvis jeg ikke husker feil...

Lenke til kommentar
...men det krever at du drifter din egen server.

Eg har ein IIS med FP2002 (Server Extensions), men mangler driftserfaring. Det er eit hobbyprosjekt, og eg lære masse av detta!! :smile:

 

Men då er konklusjonen at eg ikkje kan sei Allow, og såleis må eg putta inn absolutt alle mapper som Disallow (med unnatak av akkurat dei to eg vil ha indeksert då..)

 

Vil du holde folk unna visse foldere, bruk .htaccess

Ikkje at eg kan .htaccess, men eg ønsker at alle som kjenner adressa fritt skal kunne surfa der. Søkemotorane skal ikkje indeksera, for eg ønsker ikkje at folk skal søka seg fram til sida.

Ingen passord eller brukarautentisering, mao.

Lenke til kommentar

Bli med i samtalen

Du kan publisere innhold nå og registrere deg senere. Hvis du har en konto, logg inn nå for å poste med kontoen din.

Gjest
Skriv svar til emnet...

×   Du har limt inn tekst med formatering.   Lim inn uten formatering i stedet

  Du kan kun bruke opp til 75 smilefjes.

×   Lenken din har blitt bygget inn på siden automatisk.   Vis som en ordinær lenke i stedet

×   Tidligere tekst har blitt gjenopprettet.   Tøm tekstverktøy

×   Du kan ikke lime inn bilder direkte. Last opp eller legg inn bilder fra URL.

Laster...
  • Hvem er aktive   0 medlemmer

    • Ingen innloggede medlemmer aktive
×
×
  • Opprett ny...