1. viewtopic
2. viewforum
3. /member/
4. postххх.html

Хоть у нас есть карта сайта, данными страницами индекс все равно пестрит в изобилии. Но мы не намерены сдаваться, правда?
Для этого в robots.txt строкой ниже»User-agent: *» мы пропишем следующие директивки.

Disallow: /ucp.php
Disallow: /mcp.php
Disallow: /posting.php
Disallow: /search.php
Disallow: /memberlist.php
Disallow: /member/
Disallow: /*?

Последняя директива запрещает боту поисковика индексировать динамические (с параметрами после символа «?«) страницы.

Далее, закроем для особо упорных ботов тегами <noindex> вот эти вот замечательные ссылочки (всю их прелесть можно оценить, наведя на работающем форуме на них курсор мыши).

В шаблоне viewtopic_body.html это вот эти ссылки -

В коде шаблона ставим теги следующим образом (речь пойдет про стиль SubSiver2, в остальных,  думаю, аналогично)

<!— IF not S_IS_BOT —><noindex>

</noindex><!— IF S_HAS_POLL —>

<noindex><a href=»{U_VIEW_OLDER_TOPIC}»>

{L_VIEW_NEXT_TOPIC}</a></noindex>

выделены фрагменты кода, где нужно добавить теги <noindex> (отмечены красным)

в viewforum_body.html убираем это:

<noindex><a href=»{S_WATCH_FORUM_LINK}»>{S_WATCH_FORUM_TITLE}</a></noindex>

<noindex><a href=»{U_MARK_TOPICS}»>{L_MARK_TOPICS_READ}</a></noindex>

и на последок в forumlist_body.html

{S_CONTENT_FLOW_END}»><noindex>

и в следующей строке

<!— ENDIF —></noindex>

Сохраняем изменения

Очищаем кэш

Заходим на страницы форума браузером и убеждаемся, что все работает правильно.

Приятной работы!

К примеру, в перечне проиндексированных Яндексом страниц достаточно большого форума Mazda Xedos 6 до недавних пор содержалось всего лишь порядка 15% страниц третьего уровня вложенности и 70% — второго. Это — совершенно типичная ситуация для больших динамических сайтов на движке phpBB. Индексируется всякая фигня в бааальшом количестве, а то,  что нужно нам — через пень-колоду. Как я уже писал, я применяю невстроенные в движок форума средства генерации ЧПУ, видимо,  это просто артефакты.

В качестве средства для повышения качества индексации, был разработан аддон к phpBB SEO Mod, позволяющий корректно создавать карту сайта в формате файла в формате XML, сжатого gzip и одновремено пингующий специальный сервис Google.

Результат работы скрипта можно посмотреть вот тут — http://forum.xedos6.ru/sitemap.xml

Данный плагин находится в состоянии alpha и пока не предназначен для установки, т.к. написан весьма коряво. Но если есть желающие посодействовать (умственно) в развитии, я буду очень признателен. Окончательную версию само собой выложим для скачивания

Далее, повторюсь. Крайне желательно после создания зарегистрироваться в сервисах Яндекс.Вебмастер и Инструменты Google для вебмастеров и добавить в них свои сайты, в том числе ссылки на sitemap.

Вторым (параллельным) вариантом является указание пауку поискового робота места расположения карты сайта в файле robots.txt

User-agent: *
Host: yourhost.ru
Sitemap: http://yourhost.ru/sitemap.xml

Все крупнейшие поисковики обрабатывают robots.txt и соответственно со временем увидят и проиндексируют Вашу карту сайта (и соответственно, скорее всего добавят в индекс новые страницы), но ручное добавление sitemap завсегда быстрее

В течение нескольких недель выдача поисковиков должна проапдейтиться и порадовать Вас бОльшим числом страниц сайта, добавленных в индекс.

После того, как мы убили все внешние ссылки, переходим ко второму этапу марлезонского балета.
Устанавливаем последнюю версию мода с сайта phpBB-SEO.com.
Этим получаем ссылки вида не http://myforum.ru/vewtopic.php?f=1&t=1, которые SAPE не переваривает и не считает за страницы, а вполне гламурные http://myforum.ru/my-pretty-good-topic-t1.html.
Открою небольшой секрет, этот мод не совсем под кириллицу написан, но я на нескольких форумах уже реализовал механизм замены topic_title с русского на английский (это в общем просто как 2 пальца), но уже на уровне правильных ссылок в RSS потоке (умеренно коряво переписал мод) и выводе XML карты сайта (мод сделал с нуля, сейчас он на уровне беты, то есть запускается не из админки, а простым вызовом файла php. Интегрировать мод в движок phpBB большого смысла не вижу, т.к. 90% форумов этот или другие SEO моды не используют.
Но, в общем, готов за малую толику это повторить и на Вашем форуме

Итак, остановимся подробнее на том, для чего нужны ссылки вида ЧПУ.
ЧПУ в данном случае — человекопонятный URL, дань уважения читателям Вашего форума и просто небольшая понтовая фенечка, делающая внутренние ссылки на форуме читабельными.
А также обязательная фича для бирж ссылок, типа SAPE или тому подобных. Мы же уже отметили для себя, что форумные префиксы они не любят.
N.B. Роботам поисковиков глубоко индифферентно, как выглядит Ваша ссылка, главное, чтобы при переходе по ней веб-сервер возвращал заголовок HTTP 200. В таком случае бот поисковика считает, что ссылка не битая и будет пытаться сграбить контент странички.

Далее, для чего нужна карта сайта.
Карта сайта помогает боту поисковика быстрее и правильнее проиндексировать Ваш сайт (в данном случае форум). Поэтому крайне желательно не сдаваться на милость Яндексам и Гуглям, а брать инициативу в свои могучие руки и ставить (писать) мод, генерирующий карту сайта.
Основные особенности этого мода для phpBB с SEO паком:
- преобразования названий тем в латиницу должны быть унифицированы (следует вынести их в отдельную функцию и вызывать ее в phpbb_seo_class.php, а также в Вашем моде, генерящем карту сайта. Это позволит избежать досадных ляпов с индексацией.
- т.к. ЧПУ названия форумов в этом моде не вынесены в БД, а хранятся в phpbb_seo/cache/phpbb_cache.php придется вероятнее всего сделать текстовую шапку, где и хранить их статическим текстом, ну или обращаться к этому файлу и обрабатывать массив cache_config['forum']
- следует сделать опцию упаковки карт сайта gzip-ом
- следует сделать опцию ping для оповещения поисковиков (Google) об обновлении карты сайта.
остальное все дело техники и под силу старшекласснику, знакомому с php

Ну и само собой, после создания карт сайта, следует их добавить в Инструменты Google для веб-мастеров и Яндекс.Вебмастер.

Надеюсь, что все достаточно понятно.

Будут вопросы — с радостью отвечу!

Внешние ссылки

Внешние ссылки (ВС) при оптимизации сайта под продажу ссылок — большое зло. Особенно если их много. Оптимально, если их вообще нет

1. Убираем ВС из шаблонов (запрещаем их индексацию поисковиками)
Проверить количество ВС, оценить вес ВС можно на замечательном сервисе http://linum.mohito.ru/.

Итак, анализ проведён.
Что мы видим?
1) Ссылка на phpBB.com
2) Ссылка на разработчиков пакета локализации phpbbguru.net и это как минимум!
Если на сайт установлены счётчики посещений, ВС может дойти до двух десятков и более, что сделает сайт малопривлекательным для потенциальных покупателей. («Вес» ссылки будет кратно уменьшаться при увеличении ВС)

Боремся с этим злом.
Открыв шаблоны своего стиля, в который Вы добавляли код счётчиков, обычно это overall_footer.php проставляем в самом начале и перед тегом </body> очень ценные парные теги — <noindex> в начале темплейта , перед тегом </body> — </noindex>
Отмечу, что это не нарушает лицензию phpBB, сама ссылка остается, просто Яндекс перестает ее замечать.

После этого действия повторно проверяем сайт (условно, «морду») этим же или подобным сервисом. Нет ВС? отлично, переходим ко второй части нашего коварного замысла.

2. Ставим мод Prime Links
Мод позволит нам конвертировать ВС во внутренние ссылки
Для этого идем на всеми любимый phpbbhacks.com и ищем его там среди модов. Или, если лень — пользуемся уже готовой ссылкой http://www.phpbbhacks.com/load.php?id=8478.
Устанавливаем мод согласно инструкции (нужно всего лишь внести изменения в двух местах в includes/message_parser.php)

И настраиваем файле мода префикс для внешней ссылки. Одно но, префикс должен быть локальным, а не редиректить на внешние ресурсы типа anonim.to (Ведь это будет ВС, а мы их прибиваем)

Простейший небезопасный редирект — в корне сайта файл go.php c содержаним наподобие

<?php

$go = $_GET['go'];

print ‘header(\’Location: .$go.’\')’;

?>

и префикс в Prime Links вида go.php?go=

Заработало? Ссылки открываются? Наслаждайтесь

Ну и по традиции, моя партнерская ссылочка для регистрации на SAPE — ССЫЛКА