Темные делишки. Поисковая оптимизация «по-черному»

В предыдущих статьях мы уже рассматривали методы «белой» и «серой» поисковой оптимизации, разобрали способы вычисления «веса» сайта поисковыми системами и узнали о современных системах раскрутки сайтов в Интернете. Теперь настало время остановиться на самых нечестных приемах работы оптимизатора – так называемой «черной» оптимизации.

(от английского to cloak – маскировать) – способ работы web-сервера, когда пользователю показывается одно содержимое, а поисковому роботу – другое, благодаря чему страница и находится высоко в результатах поиска. Основывается клоакинг на отслеживании IP-адресов поисковых роботов и выдаче им заранее определенной информации. напоминает использование дорвеев, но имеет перед ними некоторые преимущества. Во-первых, не нужно организовывать автоматическое перенаправление или заставлять пользователя вручную переходить к нужной странице (этот прием неудобен для пользователей и слишком легко вычисляется поисковыми системами). Во-вторых, конкуренты не смогут увидеть оптимизированную страницу и использовать примененный на ней код в своих разработках, потому что для этого им понадобился бы IP-адрес, совпадающий с адресом какого-либо паука, а это невозможно. С другой стороны, клоакинг – более трудоемкий прием, чем создание дорвеев, поскольку для его применения требуются не только навыки программирования и знание методов оптимизации, но и наличие базы данных с IP-адресами и именами поисковых роботов.

*См. статьи Андрея ПОЧУЕВА «Черным по «белому» в №5, 2008 год, и «Эффективная «серость» в №6, 2008 год, «ИКТ в образовании».

Несмотря на то что «черная» поисковая оптимизация карается баном (бан – исключение из индексации) сайта в поисковых системах, она широко используется в Интернете. Риск того, что сайт забанят, нивелируется большим, постоянно увеличивающимся объемом ресурсов, находящихся в распоряжении у «черного» оптимизатора, а далеко не маленькие прибыли, получаемые с такой оптимизации, подстегивают web-разработчиков придумывать все новые и новые хитрости и уловки.

Процессы разработки новых алгоритмов фильтрации контента и методов генерации спамерами информационного мусора развиваются параллельно, и окончательной победы ни одной, ни другой стороны в ближайшем будущем не предвидится. Поэтому знать основные принципы этого противостояния любому интернет-пользователю будет как минимум полезно.

Итак, в терминологии поисковиков под «черной» оптимизацией понимается в основном поисковый спам. Применение такого метода позволяет достаточно быстро вывести раскручиваемый сайт на хорошие места в выдаче поисковиков. Однако если сотрудники поисковых систем узнают про то, что создатели сайта пользуются запрещенными приемами, исключение его из индексации гарантировано.

К безусловно «черным» методам относят в первую очередь:

невидимый текст;

ссылочный спам;

сайты-дорвеи;

клоакинг.

Не ошибусь, если скажу, что основной массе пользователей Интернета эти термины незнакомы. Поэтому разберем их не торопясь, по порядку.

Невидимый текст

Наверное, самый простой и понятный способ. Уловка заключается в том, что «черный» оптимизатор размещает на существующих страницах сайта длиннющие списки ключевых слов и фраз, соответствующих самым популярным в Интернете запросам, полностью отличным от тематики сайта. Хитрость заключается в том, что при размещении используется шрифт, совпадающий с цветом основного фона страницы, – посетитель этих списков не видит, а поисковый робот находит легко.

Делается это чаще всего не банальным выставлением цвета текста html-тегами, а всевозможными замысловатыми скриптами, чтобы по максимуму затруднить поисковым роботам распознавание обмана. Как вариант подобного метода – вывод «ключевиков» скриптами за пределами видимой страницы, так сказать, за границами экрана. Пользователю они не видны, а поисковой робот непременно обнаружит их в исходном коде страницы.

Пользуясь этим методом, «черные» оптимизаторы получают дополнительный трафик на раскручиваемые сайты. А то, что посетители – случайная, а совсем не целевая аудитория для web-сайта, никакого значения для них не имеет.

Подобные методы продолжают использоваться несмотря на то, что поисковые системы усовершенствовали применяемые ими алгоритмы и эффективность от такого приема резко снизилась. Зато очень высока вероятность того, что какой-нибудь недовольный посетитель сайта, попавший на него с помощью подобной уловки, или внимательный конкурент, обнаружив такие «маленькие хитрости», доведет это до сведения модераторов поисковиков и – все! Сайт тут же окажется в бане и канет в небытие.

Ссылочный спам

Иначе его называют «непотистским» спамом (nepotistic spam). Суть его в простановке ссылок исключительно для учета их поисковыми машинами и увеличения таким образом значений ссылочной популярности (индекса цитирования) с целью влияния на положение сайта в результатах поиска. Для реализации метода ссылочного спама специалистами зачастую создаются либо специальные сайты, либо так называемые web-клубы по обмену ссылками. Выявление такого клуба модератором поисковой машины может повлечь за собой исключение из индекса всех его участников.

При использовании ссылочного спама «черный» оптимизатор размещает большое количество скрытых от пользователей ссылок на сайт. Специально создаются так называемые Link-Farm’ы – безликие «сайты-фермеры», тематика которых крутится вокруг какой-нибудь определенной услуги или какого-либо товара. Задача таких web-сайтиков только в одном – в установлении ссылок друг на друга с целью повысить рейтинг основного web-сайта. Очень часто все эти Link-Farm’ы располагаются на одном сервере.

При обнаружении непотистского спама поисковыми системами сайт, уличенный в применении этого приема, обычно карается не баном, а заносится в непот-лист. Все ссылки с сайта, занесенного в такой лист, просто перестают учитываться поисковыми системами, что приводит к резкому снижению позиций сайта в результатах поиска.

Вообще говоря, продвижение сайта с помощью ссылок – это тонкая работа, которая может быть отнесена, в зависимости от степени агрессивности раскрутки, как к «черным» и «серым» методам, так и к «белым». Грамотно выполненная раскрутка (без использования непотистского спама) приносит хороший положительный эффект.

Сайты-дорвеи

Входной (doorway) можно назвать страницу сайта, оптимизированную под одну или несколько поисковых фраз с целью попадания на высокие места в результатах поиска. Как правило, автоматически созданная входная страница содержит случайный текст, в котором периодически встречается нужная поисковая фраза, и потому не приносит посетителю никакой пользы. Созданная вручную входная страница может содержать осмысленную информацию по очень узкой теме, полезной посетителю.

Как метод «черной» оптимизации, чаще всего используется вариант автоматической или ручной генерации большого количества входных страниц – дорвеев – с бессодержательным для пользователя наполнением, но под завязку набитых тематическими ключевыми фразами. С каждой созданной таким вот образом входной страницы устанавливается замаскированный от поисковых роботов редирект (принудительный переход) на страницу продвигаемого таким способом web-сайта. Для большей маскировки дорвеи частенько размещают на разных доменах.

Дорвеи индексируются поисковыми роботами и попадают на верхние строчки результатов поисковых систем по размещенным на ней ключевым словам. Результатом таких действий является то, что пользователь, перейдя по ссылке из результатов поиска на входную страницу, из-за установленного редиректа автоматически перенаправляется на основную страницу раскручиваемого web-сайта. Естественно, что это не вызывает положительных эмоций ни у пользователей Интернета, ни у модераторов поисковых систем.

Конечно, когда такие дорвеи автоматически генерируются сотнями и тысячами, то после их индексации раскручиваемый сайт получает ощутимый рост трафика, проживая яркую, но очень короткую жизнь. Дело в том, что вероятность внесения его уже спустя очень непродолжительное время в бан просто огромна. Впрочем, специалистов по раскрутке этот факт мало тревожит – к этому моменту их, как правило, уже нет, они ушли, как и мавр, вовремя сделавший свое дело.

Клоакинг

Клоакинг (от английского to cloak – маскировать) – способ работы web-сервера, когда пользователю показывается одно содержимое, а поисковому роботу – другое, благодаря чему страница и находится высоко в результатах поиска. Основывается клоакинг на отслеживании IP-адресов поисковых роботов и выдаче им заранее определенной информации.

Технически все это реализуется следующим образом: специально написанные скрипты автоматически производят сверку IP-адреса посетителя страницы с имеющейся базой данных IP-адресов поисковых роботов. В случае если IP-адрес в этой базе отсутствует, следует вывод, что это обычный посетитель, и ему выдается предназначенная для него страница. Если же определяется, что это поисковый робот, то он получит абсолютно другую страницу, оптимизированную для поисковиков. Таким образом, этот метод позволяет скрыть спам, из-за влияния которого на поискового робота страница и занимает высокие места в результатах поиска.

Клоакинг напоминает использование дорвеев, но имеет перед ними некоторые преимущества. Во-первых, не нужно организовывать автоматическое перенаправление или заставлять пользователя вручную переходить к нужной странице (этот прием неудобен для пользователей и слишком легко вычисляется поисковыми системами). Во-вторых, конкуренты не смогут увидеть оптимизированную страницу и использовать примененный на ней код в своих разработках, потому что для этого им понадобился бы IP-адрес, совпадающий с адресом какого-либо паука, а это невозможно. С другой стороны, клоакинг – более трудоемкий прием, чем создание дорвеев, поскольку для его применения требуются не только навыки программирования и знание методов оптимизации, но и наличие базы данных с IP-адресами и именами поисковых роботов.

Несмотря на относительную «продвинутость» метода, определить клоакинг не так уж сложно. Недовольному пользователю или бдительному конкуренту для этого будет достаточно посмотреть на страницу, выданную по результатам поиска, и сравнить ее со страницей, находящейся в кэше поисковой системы. И если они разные, причем та, что находится в кэше, оптимизирована для поискового робота, то остается лишь оповестить о клоакинге модератора поисковой системы. В результате страница будет занесена в «черный список», что приведет к прекращению ее индексации и полному выпадению сайта из поисковой выдачи.

* * *

Не думаю, что большинство из читателей когда-нибудь будут заниматься опасной для сайта «черной» оптимизацией. Однако согласитесь, что понимать, почему поисковик, обрабатывая совершенно обычный запрос, выдает ссылку на абсолютно непотребную страницу без какого-либо осмысленного содержания или на сайт, целиком состоящий из рекламных объявлений, все-таки полезно как минимум для более глубокого понимания процессов развития сети «Интернет».

Андрей ПОЧУЕВ, инженер ОАО «Уралпромпроект»