Că nu au existat probleme cu articolele de promovare și indexare, trebuie să știți cum să creați roboți txt pentru toate motoarele de căutare. Este nevoie de un pic de timp, dar după aceea va fi liniște.
Cum de a crea roboți txt
Unii webmasteri și complet face fără ea (cea mai mare parte, desigur, din ignoranță). Pe de o parte, este rezonabil pentru incepatori - astfel încât să nu se va închide pe crawler informațiile necesare. Dar, pe de altă parte, acest mic fișier protejează datele personale și previne impotriva spam-urilor de la vizualizarea informațiilor de pe site.
Vă recomandăm folosind template-uri bloggeri înmugurire. De exemplu, roboți txt șablon pentru WordPress Descărcați. Descărcați și repara „vash_sayt.ru“ pe numele site-ului dvs. (de exemplu, yarabotayudoma.rf).
Fișier plasat în directorul rădăcină al site-ului cu ajutorul Filezilla sau prin intermediul site-ului gazdă. Aruncări în directorul rădăcină, astfel încât acesta este disponibil la link-ul următor: vash_sayt.ru / robots.txt
Este potrivit doar pentru cei care sunt NC (cuvinte link-uri scrise, dar nu și în forma p = 333). Suficient pentru a intra în Setări - opțiunea de referință constantă și selectați registrul câmp inferior /% postname%
Roboți txt pentru toate motoarele de căutare
Unii oameni preferă să creeze fișierul în sine:
În primul rând, creați un calculator notebook-uri și nume-l roboți (utilizarea majuscule). La sfârșitul setărilor dimensiunea acesteia nu ar trebui să fie mai mare de 500 kb.
User-agent - numele motorului de căutare (Yandex, Googlebot, StackRambler). Dacă vrei să mergi direct la toți cei cu un asterisc *
Și apoi selectați pagina sau folderul care nu pot fi indexate folosind acest Disallow robotul:
În primul rând sunt cele trei directoare, și apoi un anumit fișier.
Pentru a permite indexarea totul pentru toată lumea, trebuie să vă înregistrați:
Setarea robots.txt pentru Yandex și Google
Pentru Yandex trebuie în mod necesar să adăugați o directivă gazdă nu pare să duplicat pagini. Acest cuvânt este înțeles numai de către Yandex bot, asa prescrie liniile directoare pentru el separat.
Pentru Google, nu există programe de completare. Singurul lucru pe care trebuie să știe cum să-l ocupe. In User-agent trebuie să scrie:
- Googlebot;
- Googlebot-Image - în cazul în care indexarea limita de imagini;
- Googlebot-Mobile - versiunea mobilă a site-ului.
Cum să testați fișierul robots.txt
Acest lucru se poate face în „Instrumente pentru webmasteri“ căutarea pe Google sau pe site-ul sub Yandex.Webmaster Verificați robots.txt.
Un link către site-ul dvs. și de a vedea dacă nu există erori. De obicei, nu există nici o problemă.
Dacă există erori, corectați-le și verificați din nou. Obține un rezultat bun, atunci nu uitați să copiați codul corect în robots.txt și se toarnă-l pe site-ul.
Acum aveți o idee cum să creați un robots.txt pentru toate motoarele de căutare. Pentru începători Vă recomandăm să utilizați fișierul gata, înlocuind numele site-ului.