Deep web (глубокая или невидимая сеть, глубокая паутина) — часть интернета, которую не индексируют поисковые системы и которую невозможно обнаружить с их помощью.
К deep web относятся, в частности, закрытые профили в соцсетях и на других ресурсах, электронные письма, корпоративные ресурсы, защищенные паролем документы, платный контент и так далее. В свою очередь, та часть интернет-ресурсов, которую индексируют поисковики, называется surface web (видимая сеть).
Как веб-страницы попадают в deep web
Есть несколько способов, с помощью которых создатели веб-контента избегают индексации поисковиками.
- Метка noindex на странице, запрещающая поисковым роботам включать ее в индекс.
- Запрет на индексирование страницы с помощью файла robots.txt. Среди прочего этот файл содержит список контента сайта, который поисковики должны игнорировать.
- Динамическая генерация содержимого, при которой каждому посетителю сайта показывается своя версия содержимого. Пример страницы с динамической генерацией — персонализированные рекомендации в онлайн-магазине.
- Доступ к содержимому по паролю. Этот способ используется, например, в закрытых онлайн-дневниках или корпоративных облачных хранилищах.
- Размещение сайта в доменах, доступных только через специальное ПО, например в зоне .onion, — на такие сайты нельзя попасть через обычный браузер, но вполне возможно с помощью специализированного браузера Tor.
Также поисковики не индексируют страницы, на которые не существует ссылок с общедоступных ресурсов.
Deep web, dark web и darknet
Термин deep web часто путают с терминами даркнет (англ. darknet — темная сеть; даркнет также называют теневой сетью) и dark web (темный веб, или темная паутина). В действительности это три разных, хотя и пересекающихся понятия.
- Даркнет — это оверлейная (созданная поверх другой сети) сеть, доступ к которой возможен только с помощью специализированного ПО. Примером такого ПО может послужить браузер Tor или сервис SecureDrop, с помощью которого журналисты могут связаться с информаторами, желающими сохранить анонимность. Теневые сети позволяют обмениваться сведениями, не раскрывая личные данные, поэтому ими часто пользуются преступники.
- Dark web — это контент, размещенный в даркнетах. Dark web является частью deep web.