Robots.txt je textový soubor, který informuje vyhledávače o tom, které části webu mohou či nemohou prohledávat.
Indexace stránek je proces, při kterém vyhledávače prohledávají a ukládají obsah webových stránek do své databáze pro rychlé vyhledávání.
Googlebot je webový crawler Google pro indexování stránek. Zjistěte, jak optimalizovat svůj web pro lepší indexaci a vyhledatelnost.
Crawling je proces, při kterém vyhledávače automatizovaně prohledávají webové stránky za účelem jejich indexace a aktualizace.
Crawler je automatizovaný program používaný vyhledávači k prohledávání a indexaci webových stránek pro zlepšení výsledků vyhledávání.