Crawler

Robots.txt

Robots.txt

Robots.txt je textový soubor, který informuje vyhledávače o tom, které části webu mohou či nemohou prohledávat.

Indexace stránek

Indexace stránek

Indexace stránek je proces, při kterém vyhledávače prohledávají a ukládají obsah webových stránek do své databáze pro rychlé vyhledávání.

Crawling

Website Crawling

Crawling je proces, při kterém vyhledávače automatizovaně prohledávají webové stránky za účelem jejich indexace a aktualizace.

Crawler

Crawler

Crawler je automatizovaný program používaný vyhledávači k prohledávání a indexaci webových stránek pro zlepšení výsledků vyhledávání.