Bună ziua dragi cititori ai blogului PomKomp.ru Fișierul robots.txt corect este cheia promovării și indexării rapide a site-ului de către motoarele de căutare. A fost dezvoltat destul de mult și este încă folosit.
Principalele sarcini ale robots.txt:
1. Interzice sau permite indexarea directoarelor, paginilor, fișierelor și grupurilor acestora.
2. Pentru a specifica un fișier cu o hartă a site-ului (sitemap.xml).
3. Specificați oglinda principală (dacă există).
Înainte de a începe descrierea tuturor acțiunilor vă sfătuiesc să acordați atenție fișierului site-ului meu. Pentru a face acest lucru, trebuie doar să adăugați /robots.txt la adresa URL
Fișierele roboților sunt necesare tuturor site-urilor, indiferent dacă sunt mari sau mici, un magazin online sau doar un magazin de o singură pagină. Ce pentru căutătorii unui robot de fișiere? De fapt, motorul de căutare indexează toate documentele stocate pe domeniul dvs. și acestea sunt imagini, foi de stil, scripturi și așa mai departe. Toate acestea complică procesul de indexare a site-ului către robot și mărește timpul petrecut pe proiect. Pentru a spune robotului ce puteți să indice și ce nu, fișierul robots.txt servește.
După cum ați observat, roboții au o extensie de .txt, ceea ce înseamnă că îl puteți crea într-un notebook obișnuit pe PC-ul dvs. și apoi îl puteți umple cu găzduire. Rețineți că numele trebuie să fie doar litere mici.
Robots.txt corecte constă în directive și proprietățile lor (parametrii). Le vom lua în considerare pe măsură ce scriem dosarul. Prima directivă care este prima este agentul utilizator. Afișează pentru care robot se scriu parametrii suplimentari.
Proprietățile directivelor sunt scrise printr-un colon și un spațiu. În exemplul de mai sus, am specificat parametrul "*" din directiva User-agent, care spune că toți roboții de căutare descriși mai jos vor fi tratați în mod egal. Dacă doriți să permiteți indexarea unui site de către un anumit robot, trebuie să desemnați numele după colon.
Trebuie remarcat faptul că, în parametrii directivei User-agent, este specificat un singur robot de căutare și, prin urmare, o înregistrare a formularului
Va fi greșit.
Permiteți / Dezactivați.
Din numele acestor directive este clar că permite permite botului să indexeze fișierul, pagina, directorul și grupurile acestora și să interzică interzicerea. În mod prestabilit, toate directoarele sunt deschise pentru indexare, astfel încât indemnizația însăși nu are sens, trebuie utilizată în combinație cu directiva privind restricțiile.
Exemplu de utilizare a directivelor Permiteți / Dezactivați:
Aici am interzis principalul bot de căutare Yandex să indexăm paginile din directorul blog și să le permitem indexarea paginilor din directorul / blog / page directory. După cum ați observat, acest fișier are o structură, adică mai întâi întregul director este interzis și apoi părțile sale. Un astfel de fișier este mai bine perceput de roboți și, prin urmare, site-ul va fi indexat mai repede.
De asemenea, este greșit să scrieți directive prin intermediul unui șir gol. Exemplu de intrare incorectă:
În acest caz, pagina / blogul / pagina va fi indexată.
De asemenea, directiva Disallow permite utilizarea caracterelor * și $.
* arată că în loc de aceasta poate fi orice valoare. Astfel, înregistrări
Satisfaceți cererile "Disallow / page1 /; Dezactivați / pagina2 /; Disallow / page1 / zakaz /; "și așa mai departe, astfel încât toate derivatele din directoarele / paginile nu vor fi indexate.
$ indică o interdicție explicită a acestui parametru. Deci, înregistrarea
Pentru a interzice indexarea fișierelor, trebuie să scrieți calea completă la aceasta. Nu putem indexa fișierul file.php în directorul / pagina. Pentru aceasta scriem
"Disallow: file * .php"
Corect scrie
"Disallow: * .php"
Astfel, interzicem indexarea tuturor fișierelor cu extensia .php.