Crawl Budget
Crawl budget reprezintă numărul de pagini pe care un motor de căutare, precum Google, alege și poate să le scaneze (crawl) pe un site într-o anumită perioadă de timp.
Explicație
Google are resurse limitate și nu poate scana infinit toate paginile unui site. De aceea, alocă un buget de crawl fiecărui site, stabilit pe baza unor factori precum:
- autoritatea și popularitatea site-ului (site-urile mari, cunoscute, primesc mai multă atenție),
- viteza serverului și performanța tehnică (dacă paginile se încarcă rapid, crawlerul poate scana mai multe într-un timp scurt),
- numărul și calitatea paginilor (conținut unic și relevant vs. pagini duplicate sau irelevante).
Dacă un site are multe pagini de slabă calitate sau URL-uri generate de filtre, acestea pot consuma bugetul de crawl, iar paginile cu adevărat valoroase riscă să nu fie indexate.
Exemplu practic
E-commerce: un magazin online cu 200.000 de produse trebuie să blocheze URL-urile inutile (filtre, parametri) și să folosească sitemap-uri curate pentru a prioritiza produsele esențiale.
Content: un site de știri care publică zeci de articole pe zi are nevoie ca Google să își gestioneze crawl budget-ul astfel încât noile articole să fie descoperite rapid.
Analogii utile
Crawl budget-ul este ca un curier care are timp limitat într-un cartier. Dacă pierde timp la case goale (pagini irelevante), nu va mai ajunge la adresele importante (pagini valoroase).
De ce este important
- Asigură că paginile importante sunt descoperite și indexate.
- Optimizează modul în care Google “cheltuie” resursele pe site-ul tău.
- Reduce riscul ca paginile esențiale să fie ignorate.
- Este critic pentru site-urile mari, cu mii de pagini și structură complexă.