О картах сайта и индексации больших форумов
Современный крупный сайт со сложной иерархией и большим числом элементов уровня вложенности больше 2х, индексируется поисковым роботом (SE Crawler) весьма посредственно. Виной тому ограничения на глубину (количество уровней внутренних ссылок), заложенныe создателями роботов для уменьшения нагрузки на сервер/исключения из индекса всякой маловажной фигни/ускорения процесса индексирования. К примеру, в перечне проиндексированных Яндексом страниц достаточно большого форума… Читать далее »