Der skal mange tests til

Robots.txt

Når du nu er her alligevel, kan du lige så godt finde ud af, at der er noget der hedder robots.txt. Det er et helt almindeligt tekstdokument der ligger i roden af webstedet, og f.eks. kan fortælle søgemskinerobotter om specielle sider, mapper filer må indexeres.

Ganske kort oprettes der et tekstdokument med navnet robots af filtypen .txt

Dette dokument placeres i roden af webstedet, og indeholder f.eks.:

User-agent: * = alle typer robotter

Disallow: /hemmelige-dokumenter/ = dokumenter fra undermappen må ikke indexeres

Disallow: /*.pdf$ = ingen dokumenter af typen pdf må indexeres

Hvorvidt søgemaskinerobotterne kigger i indholdet er næsten uvist. Dvs. nogen siger de gør, andre siger de ikke gør ;-)

Test af store og små bogstaver i filtypen

Er der forskel på store og små bogstaver? Ja, det er der. På en Windows server er det underordnet, og mens en Linux server er det livsvigtigt. Men hvad med robots.txt? Vil du have svaret, må du tage mit kursus ;-)

Eksempel små bogstaver til pdf-dokument

Her er brugt store bogstaver i pdf-dokumentet

Du kan også undgå andre filtyper, som f.eks. Excel-regneark med adresser til hemmelige steder

Ekstra tip!

Hvis du skriver om et bestemt emne, kan det være smart at have lidt tekst om noget andet, der kunne minde om det. Men ikke for meget.

Hvis du f.eks. skriver om robots.txt, kan det være smart at skrive lidt om, at der også er noget der hedder .htaccess, du kan risikere at blive vist i søgninger på .htaccess!

Bemærk!
Denne tekst er fremstillet for at teste forskelle på filtypenavne, robots.txt og .htaccess
Reklame: