Современный крупный сайт со сложной иерархией и большим числом элементов уровня вложенности больше 2х, индексируется поисковым роботом (SE Crawler) весьма посредственно. Виной тому ограничения на глубину (количество уровней внутренних ссылок), заложенныe создателями роботов для уменьшения нагрузки на сервер/исключения из индекса всякой маловажной фигни/ускорения процесса индексирования.
К примеру, в перечне проиндексированных Яндексом страниц достаточно большого форума Mazda Xedos 6 до недавних пор содержалось всего лишь порядка 15% страниц третьего уровня вложенности и 70% — второго. Это — совершенно типичная ситуация для больших динамических сайтов на движке phpBB. Индексируется всякая фигня в бааальшом количестве, а то, что нужно нам — через пень-колоду. Как я уже писал, я применяю невстроенные в движок форума средства генерации ЧПУ, видимо, это просто артефакты.
В качестве средства для повышения качества индексации, был разработан аддон к phpBB SEO Mod, позволяющий корректно создавать карту сайта в формате файла в формате XML, сжатого gzip и одновремено пингующий специальный сервис Google.
Результат работы скрипта можно посмотреть вот тут — http://mazda-xedos.ru/sitemap.xml
Данный плагин находится в состоянии alpha и пока не предназначен для установки, т.к. написан весьма коряво. Но если есть желающие посодействовать (умственно) в развитии, я буду очень признателен. Окончательную версию само собой выложим для скачивания 🙂
Далее, повторюсь. Крайне желательно после создания зарегистрироваться в сервисах Яндекс.Вебмастер и Инструменты Google для вебмастеров и добавить в них свои сайты, в том числе ссылки на sitemap.
Вторым (параллельным) вариантом является указание пауку поискового робота места расположения карты сайта в файле robots.txt
User-agent: * Host: yourhost.ru Sitemap: http://yourhost.ru/sitemap.xml
Все крупнейшие поисковики обрабатывают robots.txt и соответственно со временем увидят и проиндексируют Вашу карту сайта (и соответственно, скорее всего добавят в индекс новые страницы), но ручное добавление sitemap завсегда быстрее 🙂
В течение нескольких недель выдача поисковиков должна проапдейтиться и порадовать Вас бОльшим числом страниц сайта, добавленных в индекс.