Experimentați adăugarea de pagini la SAPE
Am citit unele forumuri, inclusiv el însuși pe forum Sapa, afla ce niveluri de cuibărire, și cât de multe link-uri mănâncă sistem și a scris un script simplu cu mai multe pagini harta site-ului.
Apoi, folosind un scenariu suplimentar, am adus legăturile către toate hărțile spre cea principală și am adăugat site-ul în sapă.
Întregul proces a durat aproximativ 40 de ore, indexarea a durat 21 de ore.
Și astfel: pe principala introduceți 450 de link-uri către carduri, restul pot fi indexate de pe site-ul însuși, în plus față de "hărțile" în sine, erau încă unele pagini ale nivelului de cuibărit.
Există și moduri mai simple, de exemplu, la momentul indexării în setările DLE, setați 30-50 de știri pe pagină.
Adăugat un site în sapa, ca întotdeauna site-ul primește un stază "se așteaptă indexarea."
Indexarea a început la 0 ore și 0 minute, robotul a încărcat aproape imediat aproximativ 1000 de pagini (toate hărțile site-ului + alte link-uri către cea mai importantă).
Apoi, viteza a încetinit foarte mult și robotul a terminat indexarea numai la ora 9 pm.
Lățimea de bandă a protocolului pentru acest site a fost după cum urmează:
Aceasta este activitatea robotului, deoarece încă nu există o prezență.
Indexarea a durat exact 21 de ore, drept rezultat, aproape 22 972 de pagini au fost adăugate la SAP:
Total 628 megaocteți.
S-a așteptat un alt rezultat, că paginile vor fi de 3 ori mai mult.
Deși acest lucru poate fi explicat - robotii sep foarte adesea intră în server, ca urmare primesc o interdicție pentru câteva minute de la serverul web apache sau nginx. Robotul nu a primit un răspuns de la server și probabil a ratat multe pagini.
Rezultatul este destul de bun, chiar mai multe locuri pentru link-uri de la un astfel de număr de pagini vor fi cumpărate foarte mult timp.
Deoarece va fi un timp liber - voi studia jurnalele de server, poate fi necesar să se corecteze config-urile și apoi voi încerca să adaug numărul maxim de pagini pentru o indexare
Dar au existat astfel de oameni în istorie?
Câte pagini ai reușit să conduci în SAP pentru 1 indexare?