Поисковый робот — автономная программа, осуществляющая «обход» интернет-ресурсов для обновления базы данных поисковой системы. Поисковые роботы, или «пауки», отвечают за индексацию информации о сайте. Они переходят по ссылкам, охватывая тем самым новые и новые страницы.
Работа пауков может быть ограничена поисковым сервисом — например, чтобы не перегружать базу данных слишком большими текстами или сайтами с большим числом уровней индексации. Владельцы интернет-ресурсов могут запретить роботам посещать отдельные страницы или полностью закрыть для них конкретный домен. Инструкции для поисковых ботов хранятся в файле robot.txt, который располагается в корневом каталоге сайта.