Všichni, kdo již delší dobu děláme weby, známe soubor robots.txt. Je to jednoduchý způsob, jak zdělit vyhledávačům a prohledávačům, jak mají procházet a indexovat obsah a adresářovou strukturu našeho webu. Soubor se nachází v kořenovém adresáři webu a jedná se o klasický .txt soubor, obsahující příkazy pro vyhledávače. Co se týče webů, které používají redakční systém WordPress, je to trochu jinak.

Tyto dva řádky říkají, že všechny vyhledávače mohou indexovat celou strukturu wašeho webu, včetně administrační části, což představuje určité bezpečnostní riziko. Je tedy jasné, že bychom měli provést určitou optimalizaci tohoto souboru, abychom těmto neduhům zabránili.

Vytvořit soubor robots.txt je velmi jednoduché a rychlé. Stačí, když si otevřete svůj textový seditor, v mém případě Poznámkový blok, a napíšete jednotlivé příkazy, které považujete za důležité. Poté je nutné soubor uložit ve formátu .txt a pomocí FTP programu, nebo webového rozhraní, nahrát do kořenového adresáře vašeho webu.

Obsah celého souboru je různý, záleží natom, jak svůj web máte nastavený. Proto bych tento příklad bral spíš informativně, než jako doslovný návod. Každopádně můj soubor robots.txt vypadá následovně: