Повышение Google PageRank – залог успешной индексации

,
Один из успешных аспектов построения СЕО стратегии – появление всех важных страниц вашего сайта в индексе поисковых систем. Довольно часто случается, что сайты с тысячей страниц рискуют оказаться вне индекса. Самое печальное, что большинство вебмастеров об этом и не подозревают. Почему так? Если у вас масштабный сайт, то и вероятность приличного уровня трафика возрастает. Именно это и затрудняет выявить проблему отсутствия индексации части важных страниц, присутствие которых может в разы поднять ваш трафик.
Проще говоря, если ваши страницы не проиндексированы они никогда не будут оценены поисковым роботом. Но почему эти страницы не проиндексированы поисковыми системами, в частности Google?
Число проиндексированных страниц приблизительно пропорциональны вашему PageRank.
Стойте, что? Я думал, PageRank был таким в 2003. Конечно же это не так. В мартовском интервью Эрик Энж (Eric Enge) 2010 года, Мэтт Каттс (Matt Cutts) порвал на тряпки оптимизаторскую теорию, что каждый сайт имеет заранее определенный уровень просмотра вебстраниц поисковым роботом, так называемый “crawl budget”, и вместо этого подтверждает, что PageRank может действительно играть большую роль в правилах индексации.

Как правило, страницы закопанные глубоко в на сайте, в следствии дезорганизованной структуры сайта,  с большой вероятностью  столкyтся с проблемами индексации. Часто данными страницами выступают страницы товаров интернет магазинов, старые статьи, которые порой тяжело найти пользователями на самом сайте (старые статьи на новостных сайтах). Это отражается на существенной потере возможностей добычи трафика по низкочастотным запросам пользователей.
Изменения алгоритма Гугл под названием “Mayday” этому есть подтверждение.
Это изменения кажется отнеслось с большому количеству сайтов со страницами которые не имеют внешних ссылок, а также могут быть удалены в несколько кликов с главной страницы, и возможно, не имеют значительной уникальности и уникально-добавленного контента. Например, сайты электронной коммерции часто имеют подобную структуру. Отдельные страницы продуктов с трудом получают внешние ссылки и большинство контента может быть импортировано с базы данных производителя.
Понимание того, что низкий PageRank (либо вообще отсутствие такового) может препятствовать индексации, то это просто означает, что страницы, находящиеся вне индекса нуждаются в ссылках – внутренних и внешних. Ключевой смысл здесь -  сформировать стратегию добычи ссылок на ваш сайт для лучшей индексации. Плюс разработка стратегии структуры сайта, которая позволяет страницам, которые в данный момент глубоко закопаны на сайте, быть более доступными не далее двух кликов от главной страницы. Кроме того, очистка дублированного контента поможет застраховать вас от того, что ссылки не будут распространяться между тремя различными версиями одинакового куска контента, а вместо этого собранная в одно целое страница увеличит свой авторитет.
Ну и конечно не стоит забывать о создание XML карты для ускорения индексации сайта и файла robots.txt, необходимого для отключении проблематичных страниц сайта. Это поможет поисковым роботам провести больше времени на сайте и проиндексировать все страницы.
Перевод статьи Rachel Andersen.
P.S. Ну и от себя добавлю. В теории все это конечно просто. Другое дело на практике. Нужны ссылки на страницы товаров, отдельных статей. Но не все страницы имеют сумасшедший интерес в глазах пользователей и как результат рост естественных ссылок. Поэтому как вариант получения веса данных страниц – это ссылки на карту сайта и разделы сайта. Что касается электронной коммерции, то в большинстве случаев описание товаров не уникальные. А написать уникальный контент на тысячи товаров – просто рук и времени не хватит. Как вариант – закрыть такие страницы от индексации (то есть страницы продуктов) и продвигать отдельно категории, предварительно уникализировав данные страницы: добавить качественный контент, уникальный титл и т.д.