Jump to content
Sign in to follow this  
hemo

Robots.txt og søkeverktøy

Recommended Posts

Korleis kan eg fortelje søkemotorarskal utelatast i indeksen, med unnatak av to enkle mapper?

 

Desse skal indekserast:

http://www.domene.com/hund/

http://www.domene.com/katt/

 

Desse skal ikkje indekserast

http://www.domene.com/

http://www.domene.com/images/

http://www.domene.com/dokument/

osb...

 

Vidare står det eit domene på ein annan server som peiker rett på den "hemmelege" mappa /dokument. Dette heiter http://enkel.com -fil med følgande kode:

 

<html>

<head>

<title>Dokument</title>

</head>



<frameset framespacing="0" border="0" rows="*,1" frameborder="0">

 <frame name="Hoved" src="http://www.domene.com/dokument/" scrolling="auto">

 <frame name="bunntekst" scrolling="no" noresize target="hoved" src="ny_side_3.htm" marginwidth="0" marginheight="16">

 <noframes>

 <body>

 <p>Funka inte :s</p>

 </body>

 </noframes>

</frameset>

</html>

 

Vil då robotar sjå sida http://enkel.com

Share this post


Link to post

Du trenger en robots.txt fil ja. Du finner masse informasjon om dette hvis du søker på Google. Det er ikke alle søkemotorer som bryr seg om robots.txt fila, men jeg tror at bot'er som Googlebot gjør det.

Skal du være på den sikre siden kan du bruke apache mod_rewrite, men det krever at du drifter din egen server.

Share this post


Link to post

robots.txt er har så tåpelig enkel syntax at om du gjør et søk etter f.eks. robots.txt syntax bør du klare å finne ut hvordan du skal bruke den selv. Du kan ikke gjøre alt du spør om med den.

Share this post


Link to post

Eksempler...

robots.txt

User-agent: *

Disallow: /images/

Disallow: /dokument/

 

Meta tags for robots: (header)

<title>VIKTIG</title>

<meta name="Robots" content="index,follow">

<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">

<META HTTP-EQUIV="EXPIRES" CONTENT="0">

<META NAME="RESOURCE-TYPE" CONTENT="DOCUMENT">

<META NAME="DISTRIBUTION" CONTENT="GLOBAL">

<META NAME="AUTHOR" CONTENT="deg">

<META NAME="REVISIT-AFTER" CONTENT="1 DAYS">

<META NAME="RATING" CONTENT="GENERAL">

<meta name="description" content="VIKTIG">

<meta name="keywords" content="VIKTIG">

Vil du holde folk unna visse foldere, bruk .htaccess

 

EDIT: Eller så er det vel ISO-8859-4 hvis du har norsk tekst hvis jeg ikke husker feil...

Share this post


Link to post
...men det krever at du drifter din egen server.

Eg har ein IIS med FP2002 (Server Extensions), men mangler driftserfaring. Det er eit hobbyprosjekt, og eg lære masse av detta!! :smile:

 

Men då er konklusjonen at eg ikkje kan sei Allow, og såleis må eg putta inn absolutt alle mapper som Disallow (med unnatak av akkurat dei to eg vil ha indeksert då..)

 

Vil du holde folk unna visse foldere, bruk .htaccess

Ikkje at eg kan .htaccess, men eg ønsker at alle som kjenner adressa fritt skal kunne surfa der. Søkemotorane skal ikkje indeksera, for eg ønsker ikkje at folk skal søka seg fram til sida.

Ingen passord eller brukarautentisering, mao.

Share this post


Link to post

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Loading...
Sign in to follow this  

×
×
  • Create New...