Robots.txt
Robots.txt este un fișier text plasat în rădăcina unui site, care oferă instrucțiuni roboților motoarelor de căutare despre ce pagini pot sau nu pot fi accesate (crawl).
Explicație
Motoarele de căutare trimit crawlere pentru a scana site-urile. Primul fișier pe care îl verifică acești roboți este robots.txt. În el, administratorii pot specifica:
- ce directoare sau pagini sunt permise,
- ce zone trebuie blocate (de ex. pagini de administrare sau cu date sensibile),
- locația sitemap-ului.
Totuși, robots.txt nu garantează că o pagină nu va fi indexată. El doar restricționează accesul roboților la pagină. Pentru excluderea completă din index, se folosește meta tag-ul noindex.
Exemplu practic
E-commerce: se poate bloca crawl-ul pentru URL-uri generate de filtre precum /produse?culoare=rosu&pret=mic
Site-uri cu autentificare: se poate restricționa accesul roboților la directoare precum /admin/ sau /cont-utilizator/
Analogii utile
Robots.txt este ca un panou de acces într-o clădire: scrie clar ce camere sunt deschise publicului și unde accesul este restricționat. Vizitatorii disciplinați respectă regulile, dar nu înseamnă că toată lumea nu poate pătrunde.
De ce este important
- Optimizează crawl budget-ul prin blocarea paginilor inutile.
- Îmbunătățește securitatea, evitând expunerea zonelor sensibile.
- Ajută la ghidarea corectă a roboților către paginile cu valoare reală.
- Contribuie la o structură SEO mai clară și eficientă.