Faili ya robots.txt iliyohifadhiwa kwenye mizizi ya tovuti yako itaelezea robots za wavuti kama buibui ya injini ya kutafuta nini vichwa na faili ambazo zinaruhusiwa kutambaa. Ni rahisi kutumia faili ya robots.txt, lakini kuna mambo ambayo unapaswa kukumbuka:
- Majambazi ya mtandao wa kofia nyeusi itapuuza faili yako ya robots.txt. Aina ya kawaida ni bots na zisizo na robots kutafuta anwani ya barua pepe ili kuvuna.
- Baadhi ya programu mpya wataandika robots zinazopuuza faili ya robots.txt. Hii kawaida hufanyika kwa kosa.
- Mtu yeyote anaweza kuona faili yako ya robots.txt. Daima huitwa robots.txt na daima huhifadhiwa kwenye mizizi ya tovuti.
- Hatimaye, ikiwa mtu anaunganisha faili au saraka ambayo imechukuliwa na faili yako ya robots.txt kutoka kwenye ukurasa usiowekwa na faili yao ya robots.txt, injini za utafutaji zinaweza kuzipata.
Usitumie faili za robots.txt kuficha chochote muhimu. Badala yake, unapaswa kuweka maelezo muhimu nyuma ya nywila salama au kuacha mtandao kabisa.
Jinsi ya kutumia Files hizi za Mfano
Nakala maandishi kutoka kwa sampuli ambayo ni karibu na yale unayotaka kufanya, na inge kwenye faili yako ya robots.txt. Badilisha robot, saraka, na majina ya faili ili kufanana na upangilio uliopenda.
Files mbili za msingi za Robots.txt
Wakala wa mtumiaji: *
Huruhusu: /
Faili hii inasema kwamba robot yoyote (Mtumiaji-ajenti: *) ambayo inapatikana inapaswa kupuuza kila ukurasa kwenye tovuti (Disallow: /).
Wakala wa mtumiaji: *
Waruhusu:
Faili hii inasema kwamba robot yoyote (Mtumiaji-ajenti: *) ambayo inapata inaruhusiwa kuona kila ukurasa kwenye tovuti (Disallow:).
Unaweza pia kufanya hivyo kwa kuacha faili yako ya robots.txt tupu au haipo kwenye tovuti yako kabisa.
Kulinda Saraka maalum kutoka kwa Robots
Wakala wa mtumiaji: *
Huruhusu: / cgi-bin /
Huruhusu: / temp /
Faili hii inasema kwamba robot yoyote (Mtumiaji-ajenti: *) ambayo inapatikana inapaswa kupuuza directories / cgi-bin / na / temp / (Disallow: / cgi-bin / Disallow: / temp /).
Tetea Kurasa maalum kutoka kwa Robots
Wakala wa mtumiaji: *
Wala: /jenns-stuff.htm
Wala: /private.php
Faili hii inasema kwamba robot yoyote (Mtumiaji-ajenti: *) ambayo inapatikana inapaswa kupuuza files /jenns-stuff.htm na /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php).
Kuzuia Robot maalum kutoka kwa Kupata Tovuti Yako
Mtumiaji-wakala: Lycos / xx
Huruhusu: /
Faili hii inasema kwamba botto la Lycos (Mtumiaji-ajenti: Lycos / xx) haruhusiwi kufikia popote kwenye tovuti (Disallow: /).
Ruhusu Upatikanaji wa Robot Moja tu
Wakala wa mtumiaji: *
Huruhusu: /
Mtumiaji-ajenti: Googlebot
Waruhusu:
Faili hii ya kwanza inaruhusu robots zote kama tulivyofanya hapo juu, na kisha inaruhusu Googlebot (mtumiaji-wakala: Googlebot) awe na upatikanaji wa kila kitu (Kataa:).
Jumuisha Mipira Mingi Ili Kupata Hasa Unachotafuta
Ingawa ni bora kutumia mstari wa Wakala wa Mtumiaji wa pamoja, kama Mtumiaji-Agent: *, unaweza kuwa maalum kama unavyopenda. Kumbuka kwamba robots kusoma faili kwa utaratibu. Kwa hiyo ikiwa mistari ya kwanza inasema kwamba robots zote zimezuiwa kutoka kila kitu, na kisha baadaye kwenye faili inasema kwamba robots zote zinaruhusiwa kufikia kila kitu, robots itakuwa na upatikanaji wa kila kitu.
Ikiwa hujui kama umeandika faili yako ya robots.txt kwa usahihi, unaweza kutumia Vyombo vya Mtandao wa Google ili uangalie faili yako ya robots.txt au uandike mpya.