Сага о белых катологах. Длинные материалы часто воспринимаются с трудом, поэтому сразу же привожу ссылку на абзац для прагматиков в тексте новой отличной статьи Антона Николаева о необходимости учета "Темы" в деле продвижения сайтов - там как раз о практическом применении. Уверен, начав с этого "прагматического" абзаца, многие сразу же станут читать с начала и с огромным удовольствием дочитают до конца. Статья стоит того. * * * После первой публикации о "темной стороне SEO" в почту рассылки пришло несколько писем с просьбой помочь разобраться в ситуации. Обычно подписчики спрашивали, как правильно составить письмо в спам-репорт в случае, когда есть подозрение, что сайт конкурента продвигается "нечестными" способами. Нам же стало очевидно, что тему надо продолжать. * * * 18 мая 2007 года в отеле «Ольгино» пройдет вторая Санкт-Петербургская Интернет Конференция (СПИК), посвященная основным тенденциям развития интернет-индустрии в Северо-Западном регионе. Организаторы: РОЦИТ, 1С-Битрикс, TRINET. Зарегистрироваться на конференцию. САГА О БЕЛЫХ КАТАЛОГАХ Продолжаем серию статей о "темной стороне Силы" - техниках поискового продвижения, о которых сложно сказать, что они применяются во благо пользователей и поисковых машин. Первая статья цикла была посвящена получению ссылок с несуществующих страниц. Сегодня речь пойдет о таком распространенном явлении, как "белые каталоги", что они собой представляют, почему их банят, почему они возникают снова и как этим пользоваться. * * * Сага о "белых каталогах" Слово "белый" частенько встречается в беседах и текстах статей о поисковой оптимизации. "Белые" оптимизаторы, "белые" методы продвижения, "белая раскрутка", "белые сайты", "белые каталоги". Идея такого образного цветогого обозначения технологий, которые, в общем-то, негде красить, идет от моего старого (2000 год) перевода статьи Дэвида Гиканди "Что надо знать о спамдексинге". Затем данные термины специалист компании AdLabs Герман Осташевский использовал в своем докладе о рисках различных SEO-приемов на первой конференции по поисковому продвижению (2002 год). С тех пор и пошло - белые, серые, черные... и уже даже "оранжевые" методы поисковой оптимизации. Сложно понять, почему методу, "основной смысл которой состоит в том, что к сайту прикрепляются некоторые интересные материалы, не имеющие прямого отношения к тематике сайта, и проводится привлечение публики с упором на эти материалы" окрестили оранжевой, а не зеленой, например, но с бело-серо-черной гаммой в терминологии все ясно: белое = хороший, черное = плохой, а в оттенках серого пусть каждый разбирается самостоятельно. К сожалению, как не все золото, что блестит, так и не все, что в SEO называют белым, однозначно хорошее. Ярким примером этого являются "белые каталоги". Определение, см. baza.garb.ru Белый каталог - это: каталог, размещающий прямые ссылки, открытые для индексации поисковыми системами, без обязательного условия размещения обратной ссылки; каталог, в который можно добавить прямую ссылку, открытую для индексации поисковыми системами, без установки обратной ссылки. Как видим, главными признаками "белизны" являются условие индексирования ссылок этого каталога поисковыми системами, а также легкость добавления ссылки. Замечу, что индексирование добавляемых в каталог ссылок может быть произведено только в случае индексирования самого каталога. Таким образом, забаненный поисковыми машинами "белый каталог" как бы уже и не белый вовсе. Чтобы разобраться, необходима какая-то точка опоры. Приведу цитату из книги "Продвижение сайта в поисковых системах": "В такой ситуации каждому необходим внутренний ориентир, точка опоры, система координат для принятия решений, можно или нельзя использовать тот или иной прием в конкретной ситуации. Ориентиром должно стать простое правило: что бы вы ни делали, думайте о пользователях, которые увидят результаты вашей работы." Давайте взглянем на деятельность по производству "белых каталогов" именно с этой позиции. Общее количество созданных в Рунете "каталогов" сегодня поражает - около 25 000. Часть из них забанена, но множество еще находится в поисковых индексах. Неужели у нас есть ДВАДЦАТЬ ПЯТЬ ТЫСЯЧ человек, увлеченных идеей систематизации сайтов? Две дивизии веб-мастеров-классификаторов?!. Не верю! Тогда откуда берутся эти каталоги?.. Поиск фразы "белый каталог" в титульной фразе страницы дает нам свыше 2800 сайтов в результатах поиска. Первый же каталог serve-chilled.ru характеризуется: наличием рекламы от Google AdSence на самых видных местах всех страниц; стремлением искусственно увеличить количество своих страниц. Для этого каждое описание сайта показыватеся фактически дважды - в общем списке рубрики и отдельно на "индивидуальной странице" типа http://www.serve-chilled.ru/c42/start0/np643tt643.html Домен принадлежит лицу по имени Mikhail E Kireev, на которого только в ru-зоне записано еще 99 других доменов. В том числе и http://10top.ru/, где предлагаются услуги "комплексного продвижения и вывода на первые позиции поисковых систем", а также "база белых каталогов с автоматической регистрацией". Присутствие оптимизаторщины в белых каталогах видно практически на любом домене. Проверка IP-адреса обнаружила на нем еще семь "белых каталогов" http://www.serve-chilled.ru/ http://comp.lookto.ru/info16478.html http://comp.on-doski.ru/info19382.html http://katalogs.ru/cat/c55/start6/np4107tt4107.html http://www.cybersites.ru/top5n8499.html http://wd1.ru/link/532 http://nasaite.ru/news/5553.html Беглая проверка whois-данных обнаружила еще одного сайтовладельца, которому тоже принадлежат несколько доменов. Некоторые названия (да и содержимое доменов тоже) похожи как близнецы-братья. http://CAYTI.RU/ http://CYBERSITES.RU/ http://DSITES.RU/ http://SAYTIKI.RU/ На первом же примере обнаружена связь "белокаталожной промышленности" с оптимизаторщиной, клонирование одной и той же информации по разным доменам и четко выявлены мотивы, оправдывающие создание этой многотысячной кучи каталогов. Это: использование каталогов для заработка на PPC-партнерках. В западном интернете для таких проектов есть специальное название - MFA - made For AdSence, проекты, созданные специально для заработка с помощью Google AdSence; использование каталогов для продвижения сайтов клиентов, т.е. для заработка на оказании услуг "раскрутки". "Прописка" по каталогам обычно является первой процедурой для получения раскручиваемым сайтом хоть какой-то авторитетности. Может, первый сайт оказался исключением из правила? Давайте проверим второй - www.allforhome.org Что видно сразу же: а) заимствованный контент, б) блок AdSence на самом видном месте, в) огромный блок "оптимизаторских" ссылок внизу главной страницы, г) искусственное увеличение количества страниц двойным показом описаний. На том же IP еще несколько "каталогов", увешанных ссылками, как новогодняя елка игрушками. Третий сайт из первоначального списка - www.belyak.info. Как на одно лицо: те же ссылки, немодерируемые описания и т.п. Очередной белый каталог из первой десятки - www.toranvil.info. Наблюдается уже совсем полная бессвязность и бессмысленность рубрикатора, вводных текстов и описаний сайтов. Много "оптимизаторских" ссылок. На IP-адресе еще 47 доменов, причем ВСЕ - исключительно каталоги, тоже "белые" и не менее бессмысленные. Интересны whois-данные этих ресурсов, привожу полностью. - - - - - - - "suldit.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "dronikos.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "cosses.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "consupsu.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "mumparti.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "unhealt.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "ingsh.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "luencin.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "tedle.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "eventsd.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "fiders.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "mibialy.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "hidrin.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "chabi.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "toranvil.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "econsik.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "picalin.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "matult.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "pershor.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "chorne.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "fersel.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "dappets.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "whinatti.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "tersel.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "hyteaske.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "mendaseg.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "ingess.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "prontro.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "scesit.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "mizating.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "tiingl.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "mentarb.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "topseri.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "coakfi.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "reckbi.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "seacts.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "spinelaf.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "inelm.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "shainsk.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "patsese.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "thria.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "bedrot.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "dintliz.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "forboa.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "niewadn.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "dogalata.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "pativen.info";"Joing Group LTD";"14-Dec-2006";"[email protected]" "coakfi.info";"Joing Group LTD";"14-Dec-2006";"[email protected]"
Как видим, все зарегистрированы одной компанией в один день, выложены на один хостинг, сделаны по одному шаблону и имеют примерно одинаковый набор ссылок. Если еще чуть расширить поиск, выяснится что здесь не 47 доменов, а 111, распределенных по IP-адресам 81.177.17.140, 81.177.17.142, 81.177.17.143, 81.177.17.144, 81.177.17.145. И т.д., и т.п. В исходном списке, с которого мы начали проверку, нет ни одного сайта, про который можно было бы сказать, что он действительно сделан для пользователей. Зато в каждом "белом каталоге" легко видны признаки целевой установки его создателя на MFA и/или линкоподдержку. Можете проверить самостоятельно, вот небольшая часть списка. Вспомним, что все это проиндексировано и доступно в результатах поиска. http://www.serve-chilled.ru/ http://www.allforhome.org/ http://www.belyak.info/ http://webrucat.info/ http://www.plyba.org/ http://www.stroycat.net/ http://postroim.org.ua/ http://www.toranvil.info/ http://www.links.santehniki.org/ http://rucat.biz/ http://web.xpcom.ru/ http://www.urlhurl.ru/ http://silverdir.info/ http://9ps.org/ http://svistok.org/ http://www.catwhite.info/ http://www.bym.in/ http://www.seodir.biz/ http://unhealt.info/ http://www.topseri.info/ http://www.sperry-sun.ru/ http://goodlinq.info/ http://www.indexoid.info/ http://www.cartoteka.info/ http://www.kovrik.org/ http://link.belnet.biz/ http://www.kvitochka.com/ http://5ntr.info/ http://www.webirk.ru/ http://36ru-cat.info/ http://cat.demond.ru/ http://www.vipcatalog.tu1.ru/ http://catalogzone.info/ http://udobnoe.info/ http://www.seasnogi.org/ http://www.skiring.org/ http://catalog.fedushkina.ru/ http://Catal0g.info/ http://irkdosug.com.ru/ http://www.tersel.info/ http://addms.ru/ http://www.politiq.ru/ http://www.xost.info/ http://dizainlv.narod.ru/ http://shuher.info/ http://www.klementina.ru/ http://www.valtion.org/ http://catalog.on1x.com/ http://www.provereno.net/ http://www.catalog.ahau.ru/ http://terru.net/ http://www.katalogek.com/ http://catalog.hivplus.ru/ http://www.my1cat.info/ http://avtocat.beliy.info/ http://www.vsesaity.com/ http://www.byaca.com/ http://www.link-base.net/ http://belyi.rusmarket.ru/ http://www.catalog.ware3.info/ http://www.organizuem.ru/link/ http://www.maska.org/ http://www.SPBVUZ.ru/ http://hit-kat.info/ http://dir.in-speed.com/ http://web.kovrov.name/ http://gcat.ru/ http://raz.jino-net.ru/ http://reglist.ru/ http://www.sedlex.ru/ http://www.links.pomeo.ru/ http://auto.alocat.ru/ http://www.whitecatal.info/ http://eroftv.ru/ http://www.horin.ru/ http://www.mikslinks.ru/ http://catalog.hrc-alliance.ru/ http://www.doname.ru/ http://www.ie10.ru/ http://whitecat.vs4you.net/ http://article.kyl.ru/ http://www.kremle.info/ http://cat.mnenujno.ru/ http://sdam.klin-doors.ru/ http://www.web-cat.info/ http://algo.fromru.com/ http://perviy.net/ http://v-memoriz.ru/ http://www.findingsite.ru/ http://top.ukr-biz.info/ http://catplus.info/exlinks/links48.php http://catalog.bezh.ru/ http://www.cat.negrysti.com/ http://www.evacuatormos.ru/ http://www.findingsite.ru/ http://vona.ru/ http://top.ukr-biz.info/ http://perviy.net/ http://bambuk.org/ http://catalog.mobiki.ru/ http://catalog.zapredel.ru/ http://catalog.bezh.ru/ http://catalog.detal-proekt.ru/ http://www.urliki.ru/ http://lxpr.pp.ru/ http://www.grinchevskiy.ru/ http://www.vse-ru.com/ http://0001.your-pc.ru/ http://catal0g.ru/ http://top.ibrokers.ru/ http://jino-cat.jino-net.ru/ http://catalog.magistre.ru/ http://ruswebgroup.info/ http://awweb.org/sport/ http://www.allfreetop.com/ http://www.solpis.info/ http://www.recat.info/ http://www.nagval.info/ http://catalog.strdom.com/ http://e-catalog.jino-net.ru/ http://web.11f.ru/help.php http://the-roma.com/?show=rules http://3w.kivi-x.info/portcat/ http://awearning.info/ http://top777.org.ua/ http://www.osipov.org.ru/ http://www.hitsite.org/ http://www.best-projects.net/ http://webpages.org.ua/ http://www.musorka.org/ http://www.alllink.org/add http://www.dhtm.net/ http://allfootb.com/ http://www.stroyweb.info/ http://www.p2k.info/ http://www.ultracat.ru/ http://russcat.jino-net.ru/ http://top.clan.su/ http://open.needit.ru/ http://simpotno.info/ http://catalog.coolcy.ru/ http://www.xfinance.info/ http://www.mcresta.ru/ Стоит ли доказывать, что подобная деятельность по производству все новых и новых "белых" каталогов является, фактически, самой настоящей "черной" спам-технологией, результаты которой вредят как пользователям Рунета, так и поисковым системам? По-моему, приведенные примеры это неплохо иллюстрируют, при необходимости можно приводить их сотнями, а адреса тысячами. В то время как обратных примеров, когда о каталоге без всякой натяжки можно сказать, что он сделан для пользователей, к сожалению, очень немного. Конечно, не все каталоги являются таким вот спамерско-оптимизаторским мусором, есть и проекты, сделанные действительно для пользователей. Но их десятки, а не десятки тысяч. Яндекс.Каталог, Каталог@Mail.RU - крупные проекты со штатом профессиональных модераторов. Лучшие каталоги-трафикогенераторы указаны в списке Глобальной статистики Спайлога. Существуют отличные узкотематические каталоги, прекрасные частные коллекции ссылок. Но в общей массе проектов MFA+оптимизаторщины качественные каталожные ресурсы составляют каплю в море. Запомните простой вывод: белые каталоги - это черная спам-технология. Автоматическое определение каталожных проектов не является проблемой. Поисковые системы прекрасно понимают негативное значение клонированных MFA-сайтов, сделанных под видом "общетематических" каталогов, хотя однозначного решения об их бане или минимизации индексирования не принимают. Возможно, по той причине, что в этой куче навоза, действительно, иногда встречаются жемчужные зерна. Отсутствие бана проектов такого рода в целом вовсе не означает, что никакой MFA-каталог не может быть забанен в индивидуальном порядке или совместно с несколькими сотнями своих идейных собратьев. Грань выбора модератора, видимо, зависит от полноты базы каталога и качества его оформления. Белые каталоги - это не есть хорошо, но... 99,9% сайтов, начинающих продвижение в поисковых системах, начинают его именно с регистрации в максимально большом количестве не забаненных на момент регистрации "белых" каталогов. Как говорят французы, c'est la vie. Белые каталоги являются хорошим средством для продвижения сайта по большому количеству низкочастотных запросов по двум причинам: во-первых, регистрация в них бесплатна, во-вторых, их настолько много (рубрикаторы и базы легко клонируются), что именно с их помощью можно поставить очень много ссылок на разные тексты, полностью или частично совпадающих с необходимыми для продвижения запросами. И, так как здесь интересы MFA-каталогостроителей и оптимизаторов полностью совпадают, новые "каталоги" будут возникать вновь и вновь, пока ситуация не изменится (читай - пока не изменится отношение поисковых систем к этому явлению). От веб-мастера (оптимизатора) требуется лишь постоянно искать новые подобные проекты и своевременно регистрировать в них продвигаемые сайты с различными текстами ссылок. КОНФЕРЕНЦИЯ Эффективные способы Интернет рекламы для малого и среднего бизнеса 17 мая в "Арт Холл" в Москве состоится конференция «Эффективные способы Интернет рекламы для малого и среднего бизнеса». Ее основные задачи: выяснить, что является более выгодным для компании: обучить специалиста или обратиться к агентству, специализирующемуся на продвижении сайтов в Интернете; выявить наиболее эффективные способы Интернет рекламы; обозначить концепцию построения стратегии рекламной кампании в Интернете для малого и среднего бизнеса.
Подробная информация на сайте конференции: http://www.a-e-g.ru/internet_conference/ SEO пантеон: Слово, Ссылка... Тема - Антон Николаев SEO пантеон: Слово, Ссылка... Тема "В начале было Слово, и Слово было у Бога, и Слово было Бог..." - всем известна эта первая фраза Библии. Поисковые системы молились на этого Бога и искали слово запроса в текстах. И чем чаще оно встречалось, тем выше был сайт в результатах выдачи. С 1998 года, с появлением поисковой системы Google, бога сменили - появилась богиня "Ссылка". Даже не то чтобы совсем сменили, а сильно подвинули. И стали поисковые системы считать ссылки и иначе ранжировать документы. Длилось так, пока на горизонте не стала появляться новая богиня - "Тема". В некотором смысле "Тема" является возвратом к "Слову" - внимание поисковых систем вновь направляется на тексты. Суть идеи: слова не существуют независимо друг от друга, они существуют в среде других слов, в контексте текста. И встречаемость слов вместе не случайна - чаще рядом в тексте встречаются слова относящиеся к одной теме. Слова "шприц" и "пластырь" - будут чаще встречаться в тексте относящемся к теме "медицина", а "телескоп" и "обсерватория" - в текстах "астрономической" темы. Таким образом, каждая тема может быть определена через список слов, относящихся к ней. Каждое слово может участвовать в определении нескольких тем. Представьте себе таблицу, столбцы которой озаглавлены темами, а строки озаглавлены словами. Если слово связано с темой, в ячейке на пересечении ставим крестик. Если слово не связано - ставим нолик (в более продвинутом решении, в ячейке на пересечении слова и темы может ставиться сила связи слова и темы). Анализируя при помощи такой таблицы словарный состав любого текста (любого набора слов) можно вычислить через количество общих слов силу связи этого текста с различными темами. Один текст будет иметь разную степень связи с разными темами в зависимости от общих слов. И далее, через общие темы, может быть оценена степень связи исходного текста с любым другим. Что может дать или дает поисковым системам "Тема"? Учет темы позволяет проследить тематическую близость не только в цепочке "текст - тема - другой текст", но и в цепочке "поисковый запрос - тема - текст документа", или "текст ссылающейся страницы - тема - текст документа", или "слово в тексте - текст в целом" и т.д., и т.п. Тема - это сильное оружие, позволяющее отличать естественные тексты и ссылки от неестественных, поскольку разумно предполагать, что ссылки с тематически близких документов более естественны. Можно повышать в выдаче документы, тема которых наиболее близка к теме запроса (интересный случай возникает, когда документ не содержит непосредственно слово запроса, но словарный состав документа наиболее близок к теме, с которой сильнее всего связано само слово запроса). Или повышать в выдаче по информационным запросам документы, наиболее полно (т.е. - многословно) раскрывающие тему запроса. В целом, использование темы дает много возможностей поисковым системам по улучшению качества выдачи. Из истории развития "Темы" Идея учета не только наличия самого ключевого слова в тексте, но и его связей путем анализа соседствующих в тексте слов не нова. В документальных поисковых системах ориентированных на относительно небольшие, по сравнению с Интернет, массивы документов такой подход применяется достаточно давно. Разработчики поисковых систем для Интернет ранее считали это направление малоперспективным и говорили о непропорциональной дороговизне его реализации на практике. Однако, все меняется со временем... Среди первых признаков интереса поисковых систем в Интернет к "Теме" можно считать попытки повышения релевантности выдачи путем расширения первоначального поискового запроса дополнительными, тематически близкими словами. В 2003 году Рамблер обнародовал алгоритм учета ассоциативных связей (см. доклад "Алгоритм формирования ассоциативных связей и его применение в поисковых системах." В. И. Шабанов, А. Е. Власова). Цитата из доклада: "Предложенная методика формирования ассоциаций может использоваться для автоматического уточнения поисковых запросов. Так, например, при поиске по запросу гороскоп можно повысить вес (показатель релевантности) тем документам, которые соответствуют еще и ассоциированным запросам (гадание, сонник и т. д.)". В данной цитате, фактически, предлагалось на этапе уточнения запроса формировать понятие "Темы", как совокупности слов запросов, ассоциированных с заданным запросом в поисковой активности пользователей, и повышать в выдаче документы, в которых тема более выражена. Однозначной информации от разработчиков, о том, что данный алгоритм использовался Рамблером я не встречал, но в 2002 году, занимаясь продвижением туристического сайта, ориентированного на "отдых в Тайланде", столкнулся с неожиданной ситуацией, когда на первую страницу выдачи Рамблера стали подниматься нестандартные документы. Эти документы содержали мало информации о Тайланде, но включали перечисление "туров в Турцию", "отдыха в Египте" и т.п. Как оказалось, многим пользователям Рамблера "побарабану", куда ехать на пляжный отдых и они перебирали подряд все возможные жаркие страны - что было видно по ассоциативным запросам к запросу "отдых в Тайланде". Рамблер послушно создавал списки ассоциированных запросов и поднимал в выдаче "тематические" документы, содержащие все варианты названий стран пляжного отдыха. Примерно в то же время похожий механизм расширения запроса за счет тематически близких слов можно было видеть в Google. На введенный запрос "~tour -tour" на первой странице выдачи Google появлялись документы, в которых не было ни одного слова "tour", зато были выделены жирным шрифтом найденные тематически связанные слова: "travel", "map", "guide" и т.п. В отличие от этой "Темы", которая, являлась скорее характеристикой запроса и определялась через ассоциированный набор тематических слов для расширения запроса, Яндекс ввел в 2003 году иную тематическую характеристику - характеристику самого ресурса - "тематический индекс цитирования" (тИЦ). Согласно разделу помощи Яндекса: "тематический индекс цитирования (тИЦ) определяет "авторитетность" интернет-ресурсов с учетом качественной характеристики ссылок на них с других сайтов...Большую роль играет тематическая близость ресурса и ссылающихся на него сайтов". В среде веб-мастеров долгое время бытовало мнение, что тИЦ определяется, только для сайтов, входящих в состав каталога Яндекс, хотя в помощи Яндекса прямо написано: "тИЦ можно измерить для всех ресурсов, на которые ссылается кто-либо из просканированных Яндексом ресурсов хотя бы раз. То есть для каталога Yahoo! тИЦ измеряется, несмотря на то, что сам ресурс yahoo.com не проиндексирован Яндексом". Этот алгоритм, учитывающий "Темы" и тематическую близость сайтов используется в Яндексе при ранжировании сайтов в каталоге. Весной 2006 года, в докладе "Технологии извлечения знаний для поиска в Интернете. От слов к объектам.", на конференции "Интернет и бизнес", Лев Гершензон сформулировал среди основных направлений развития поисковых алгоритмов Яндекса: развитие поиска - от поиска по словам, к поиску по объектам; учет связей между объектами; автоматическое определение тематики. В интересной статье, посвященной алгоритмам, опробованным командой Яндекса на Российском семинаре по Оценке Методов Информационного Поиска РОМИП-2006 (http://romip.narod.ru/romip2006/03_yandex.pdf), достаточно подробно описывается алгоритм получения бонусов при ранжировании документами, которые содержат больше слов из некоторой словарной тематической группы, сформированной как соответствующей теме запроса. То есть работает цепочка "запрос - группа тематических слов - наличие слов из группы в тексте документе". При этом, за тематическую структуру берется список разделов каталога Яндекса (один раздел - одна тема), с которым соотносится каждый документ. Работы Яндекса, ведущиеся в области "Темы" хорошо иллюстрирует общедоступный инструмент автоматической генерации тематических рефератов referats.yandex.ru. Вы выбираете тему, и для нее генерируется текст, состоящий из имеющих отношение к этой теме слов и фраз. Так же можно сгенерировать и текст, отвечающий нескольким темам. В Яндексе можно поэкспериментировать и с обратным процессом: определением темы по группе слов. В 2006 году, на втором шаге подачи объявления в Яндекс Директе, появился новый инструмент: это инструмент автоматического выбора наиболее релевантных рубрик каталога к группе ключевых слов, введенных пользователем. В данном случае название рубрики каталога это и будет тема, аналогично тому, как описано в статье по РОМИП-2006. Вот несколько примеров: "Дача", "аренда дачи", "покупка дачи" четко сопоставляются тематическим движком Яндекса с темой "Загородная недвижимость". Для слов "дом", "квартира" по отдельности Яндекс тему определить не может. Не может он определить тему и для двух слов вместе "дом дача". Странно? Вы бы, наверное, смогли? Для двух слов вместе "дом квартира" Яндекс определяет тему как "Бизнес". Добавляем к ним третье "дом квартира дача" Яндекс живо выдает две темы: "Аренда офисов" и "Загородная недвижимость"... причем тут аренда офисов?.. Если добавить к даче и дому нетематическое слово ("дом квартира шляпа") - Яндекс опять теряет представление о теме. В целом, создается впечатление, что работы в данном направлении ведутся упорные, но результаты пока не слишком убедительные. Повышение внимания разработчиков поисковых систем к "Теме" можно видеть и на примере новых проектов. Пожалуй, самый интересный среди российских, это Интернет поисковик www.visualworld.ru. VisualWorld создается в Санкт-Петербургском Институте Информатики и Автоматизации РАН под руководством проф. Александрова В.В. Разработчики позиционируют алгоритмическую основу своего проекта следующим образом: "Поисковая система VisualWorld пытается находить страницы не с точным вхождением строки запроса, а ответить на вопрос "что есть то, что написано в запросе?". Процесс поиска - это выборка документов, удовлетворяющих условию наличия семантических связей в документе между всеми словами поискового запроса". Для каждого найденного документа определяется тема, как набор связанных слов. Этот набор слов визуализируется в виде графа. Для каждого документа можно найти похожие по теме - документы, для которых семантическую основу составляют те же ключевые слова. Что означает рост внимания поисковых систем к "Теме" для SEO? Работая по продвижению сайта по конкретному запросу, необходимо сформулировать для темы, к которой относится запрос, наиболее "контрастные", "смыслоразличительные" термины и составить "словарь Темы". Изучив тему, пишем страничный текст (один или несколько), используя слова почти исключительно из "словаря Темы". Конечно, тексты получатся несколько похожими на то, что создает генератор рефератов на Яндексе - но необходимо умудриться сохранить осмысленность, чтобы не провоцировать редакторов Яндекса покарать спам. Интересно, что сама технология написания подобных тематически оптимизированных текстов появилась задолго до поисковых систем. В романе "Золотой теленок", мучимый голодом и отсутствием наличности, Великий Комбинатор Остап Бендер подробно разработал методику написания оптимизированных тематических текстов и продал ее журналисту Ухудшанскому: "Вы, я замечаю, все время терзаетесь муками творчества. Писать, конечно, очень трудно. Я, как старый передовик и ваш собрат по перу, могу это засвидетельствовать. Но я изобрел такую штуку, которая избавляет от необходимости ждать, покуда вас окатит потный вал вдохновения. Вот. Извольте посмотреть. И Остап протянул Ухудшанскому лист, на котором было написано: ТОРЖЕСТВЕННЫЙ КОМПЛЕКТ. НЕЗАМЕНИМОЕ ПОСОБИЕ ДЛЯ СОЧИНЕНИЯ ЮБИЛЕЙНЫХ СТАТЕЙ, ТАБЕЛЬНЫХ ФЕЛЬЕТОНОВ, А ТАКЖЕ ПАРАДНЫХ СТИХОТВОРЕНИЙ, ОД И ТРОПАРЕЙ". Данный лист содержал несколько словарей: существительные, прилагательные и глаголы - все сплошь были полит-агитационной тематики; и к ним дополнительно прилагался словарь "азиатского орнамента" (урюк, арык, ишак, кишлак...). В результате творческих манипуляций с этими словарями получались очень тематические тексты - не поленитесь найти и перечитать эти строки! Вот пример восточного варианта: Цветет урюк под грохот дней, Дрожит зарей кишлак. А средь арыков и аллей Идет гулять ишак. Конечно, литературный шедевр таким способом создать трудно, но уж тема будет выражена максимально полно. Устанавливая внешние ссылки необходимо проверять наличие слов из "словаря Темы" на ссылающихся страницах и в тексте ссылок; чем больше тематических слов и меньше нетематических - тем лучше. Такой подход позволит нам охватить нужной темой все элементы доступные для анализа поисковых систем: сам документ, ссылки и ссылающиеся страницы. Далее, в страничном тексте, оптимизируемом под конкретный запрос, необходимо несколько раз употребить отдельные слова из запроса и фразу запроса целиком - это создаст релевантность документа непосредственно к запросу. Кроме того, в тексте документа желательно разместить побольше низкочастотных запросов, включающих текст основного запроса, к которому оптимизируется страница - это будет работать и на релевантность к основному запросу, и на нахождаемость по смежным низкочастотным запросам. WebDirector - инструмент для составления "словаря Темы" и написания оптимизированных текстов
В мае 2006 года, в составе SEO ориентированной CMS WebDirector появился уникальный по своим возможностям инструмент "Текстоптимайзер". В одно поле Вы вводите запрос, к которому собираетесь писать оптимизированный текст, во втором поле начинаете набирать текст. По нажатию пользователя, программа показывает список уточняющих запросов к исходному запросу (ассоциативные запросы) и запросов, включающих в себя текст исходного (прямые запросы). Далее программа строит частотный "словарь Темы" на основе анализа запросов и частотный "словарь Текста" - набранного Вами страничного текста - для которого считает количество и процент повторяемости слов, ранжирует слова в словаре в порядке уменьшения частоты (в высоко ранжируемых текстах слова запроса, обычно, относятся к наиболее часто повторяемым). При составлении словарей используется псевдо-морфологический анализ слов - стемминг. Кроме того, для "словаря Текста" программа сравнивает значения всех слов с эмпирически вычисленными коэффициентами наиболее употре***емых слов в хорошо ранжируемых текстах (коэффициенты меняются в зависимости от количества слов в тексте) и выделяет в словаре высокоранговые слова, параметры которых (частота и процент) соответствуют рекомендованным значениям. "Список прямых запросов", "список ассоциативных запросов" и "словарь Темы" объединяются под шапкой "семантическое ядро Темы" - понятие, которое мы ввели относительно текста, по аналогии с введенным Игорем Ашмановым понятием "семантическое ядро" сайта. Таким образом, в концепции программы, тема представлена тремя составляющими и чем больше будет в страничном тексте слов и фраз из "семантического ядра Темы", и чем меньше чуждых слов, тем более близким к теме мы считаем текст. Текстоптимайзер анализирует близость набираемого текста и "семантического ядра Темы" и помогает редактору: Рассчитывает процент охвата "словаря Темы" "словарем Текста" - чем больше процент, тем лучше. Анализируя выдачу мы заметили, что у топовых документов это значение, обычно, составляет не менее 30%. Кроме того, редактору наглядно видно, какие еще тематические слова не употреблены в тексте. Рассчитывает процент слов в "словаре Текста" из "словаря Темы" - чем выше этот процент, тем меньше в тексте лишних, нетематических слов - тем лучше; и тем более текст становится похож на произведение "авторефератора" Яндекса. Выделяет в списках прямых и ассоциативных запросов те, которые уже размещены в тексте, что позволяет редактору видеть, о чем еще можно написать в тексте и какие запросы еще желательно разместить (прямо, как в ТОРЖЕСТВЕННОМ КОМПЛЕКТЕ Остапа Бендера). Выделяет в тексте предложения (читайте про понятие "кворум" в алгоритмах Яндекса), которые вообще не содержат полезных тематических слов. Использование Текстоптимайзера позволяет подготовить тематический текст, наполненный ключевыми словами и содержащий низкочастотные вариации исходного основного запроса. Кроме Текстоптимайзера, SEO возможности CMS WebDirector включают: модуль и базу для тематического обмена ссылками, контроля их наличия и известности поисковым системам; модуль контроля позиций на поисковых системах и охвата целевой аудитории; модуль статистики посещаемости с широкими возможностями; инструменты управления распределением внутреннего PR страниц по сайту; генерацию HTML-страниц с корректными URL и http - заголовками. Для подписчиков на расширенный вариант рассылки (РВ) предоставляется скидка на CMS WebDirector в размере 30%. Антон Николаев, WebDirector - система управления сайтом ВЕСЕЛАЯ РЕТРОСПЕКТИВА Новая иллюстрация студии Naive - к статье История поисковых машин * * * "Компьютерные роботы - это программы, которые автоматически выполняют повторяющиеся задания со скоростью недоступной для людей. Ботом называют практически все, с чем может взаимодействовать пользователь или программу, которая занимается сбором данных.... Примером еще одного вида ботов, может послужить чат-бот, который пытается имитировать человека при общении..."
лучше сделай так. Заливай Текст рассылки куда-нибудь и в теме просто делай ссылки на них 1 урок 2 урок и так далее. а то так это УГ и никто читать не будет
