Google Adsense schrijft op [url=https://www.google.com/adsense/support/bin/answer.py?answer=10532]zijn website[/url]:
[color=blue:fc5861972f]Hoe verleen ik toegang tot uw crawler?
U kunt uw pagina's toegankelijk maken voor onze crawler zonder dat andere robots toegang hebben. Hiervoor voegt u boven aan het bestand robots.txt de volgende twee tekstregels toe:
User-agent: Mediapartners-Google*
Disallow: [/color:fc5861972f]
Vervolgens kun je dit txt-bestand uploaden naar je server.
Het is me niet helemaal duidelijk waarom dit is. Of blokkeer je daarmee juist robots van andere zoekmachines? Kun je dan niet beter "Mediapartners-Google verwijderen en alleen het sterretje laten staan?
Of is het sowieso allemaal flauwekul…
Als je bijvoorbeeld http://www.macosx.nl/robots.txt of http://www.volkskrant.nl/robots.txt aanlikt zie je ook iets dergelijks.
Dat sterretje staat voor alle zoekrobots. Wil je dus 'praten' tegen alle zoekrobots dat vul je het sterretje in. Overigens blokkeer je niet andere zoekrobots door Mediapartners-Google te gebruiken; je 'praat' alleen niet tegen hen.
robots.txt hoef je alleen te gebruiken als je [b:39ae684a75]niet[/b:39ae684a75] wilt dat je website doorzocht wordt. Bovenstaande zorgt er voor dat alleen de Google bot je website doorzoekt, en alle andere zoekmachines dus niet. De robots.txt van MacOSX.nl zorgt er waarschijnlijk voor dat een zoekrobot de beheer en statistieken pagina's niet doorzoekt.
[quote:38b51f865f="Kyokushinkai"]robots.txt hoef je alleen te gebruiken als je [b:38b51f865f]niet[/b:38b51f865f] wilt dat je website doorzocht wordt. Bovenstaande zorgt er voor dat alleen de Google bot je website doorzoekt, en alle andere zoekmachines dus niet. De robots.txt van MacOSX.nl zorgt er waarschijnlijk voor dat een zoekrobot de beheer en statistieken pagina's niet doorzoekt.[/quote:38b51f865f]
en als je alles wel toelaat, meot je alsnog een robots.txt aanmaken, gewoon een lege file.
dit voor meerdere redenen, en ook voor je error-log minimaal in grootte te houden