понедельник, 2 июня 2008 г.

Яndex и XML-SiteMaps или "свершилось чудо"

Теперь уже можно сказать «Ура!» Отныне яндекс действительно поддерживает долгожданный стандарт карт сайта для поисковых роботов. Подробнее о своих возможностях рассказывает сам Яндекс.

суббота, 31 мая 2008 г.

robots.txt - запрещающие инструкции

С появлением в сети роботов возник ряд угроз, спасти от которых и призвана технология "robots.txt". Возможные угрозы можно разделить на два класса: повышение нагрузки и злоупотребление данными. Перегружая ресурс запросами, робот легко может добиться от сервера отказа в обслуживании; получив данные, робот может организовать распространение или использование данных, не желательное для их владельца. Стандарт был принят в 1994-м году и с тех пор остался без изменений. Для всех интересующихся доступна официальная версия стандарта robots.txt на английском языке.


Что позволяет robots.txt?


Файл robots.txt позволяет владельцу веб-сайта проинструктировать робота-посетителя в вопросе того, как себя нужно вести. Проще говоря, в этом файле объявляются маски путей, по которым роботу запрещено следовать и производить индексацию.


Правила создания файла инструкций robots.txt


В соответствие со стандартом, инструкции могут быть размещены только в файле формата plain text с разрешением .txt и именем robots, составленным из символов нижнего регистра. Любые другие варианты имени, типа и формата недопустимы и будут проигнорированы роботом.


На сайте может быть лишь один файл robots.txt, хоторый должен быть размещен в корне домена. Файлы, размещенные по иному адресу роботом не просматриваются и не воспринимаются. Примеры првильного размещения robots.txt:

  • http://www.w3.org/robots.txt
  • http://www.microsoft.com/robots.txt

Содержание файла инструкций собирается из двух директив: User-agent и Disallow. Никаких других директив в robots.txt не предусмотрено и быть не должно — файл инструкций запрета не может что-либо разрешать.


Можно полностью запретить индексировать сайт всем роботам

User-agent: *
Disallow: /

А можно объявить роботу Google отсутствие запретов
User-agent: Googlebot
Disallow:

Для отделения каталога следует использовать косую черту.
Стоит понимать, что в директиве Disallow указывается маска, и в случае запрета
Disallow: topsecret

зепрещены будут все совпадения


  • http://site.com/topsecret.txt

  • http://site.com/topsecret/page.html

  • http://site.com/topsecretdirectory/scripts/top.php

  • http://site.com/xxx/topsecret.html

Важно: директивы в robots.txt не наследуются. Запрет, объявленный для произвольных роботов не является действующим для робота, которому объявлена персональная инструкция.

User-agent: *
Disallow: /films/

User-agent: Yandex
Disallow: /songs/

В примере всем роботам запрещен раздел фильмов, а Яндексу - раздел песен, при этом директория фильмов ему разрешена. Для запрета директории её нужно указать повторно в инструкции для Яндекса.


Для чего нужно использовать robots.txt?


Следует исключить доступ роботов к дублированному, не уникальному и любому другому контенту сайта, ценность которого робот может определить как низкую. Можно запретить доступ к отдельным материалам сайта, которые без связи со страницей или другими элементами теряют ценность или не подлежат распространению.


Чего нет в robots.txt?


Стандартом не предусмотрено использование регулярных выражений. Инструкция

Disallow: /index.php?ShowPageNumber=*

ничего не запрещает, т.к. на сервере нет вайла с таким именем.

среда, 7 мая 2008 г.

Яндекс и XML-SiteMaps

Все, конечно, знают про замечательный открытый стандарт SiteMaps, который давно поддерживается Google (он же и инициатор принятия стандарта), а не так давно - и Yahoo! с LiveSearh. Не найдя в инструментах Яндекс: Вебмастер никакой возможности добавить XML-карту сайта или пропинговать оную, будучи увененным в том, что Яндекс этот стандарт ещё не поддерживает, я написал письмо:
Я хочу знать, поддерживет ли Яндекс страндарт поисковых xml-карт сайта (http://www.sitemaps.org/ru/).
Стандартный запрос для указания поисковому механизму адреса карты сайта выглядит таким образом:
http://www.google.com/ping?sitemap=discussion.inscrutable.info/sitemap.xml
Но, в отличие от Google, Yahoo! и Live Search, для Яндекса я не нашёл способа узазать карту.
Если это вообще возможно, подскажите, как это сделась. Если же нет, то я был бы благодарен вам, если бы вы сообщили ориентировочную дату внедрения этого стандарта для Яндекс.

Прошло чуть более суток, когда я получил ответ:
Вот прям сейчас карту сайта загрузить, увы, нельзя, но, скажу Вам по секрету, буквально на днях такая возможность должна появиться. Следите за новостями!

С уважением, Платон Щукин
Служба поддержки Яндекс.Ру

Такое вот по секрету. Ждём и морально готовимся.

понедельник, 21 апреля 2008 г.

Поисковая оптимизация. Невидимые внутренности

Не сложно себе представить, что представляют собой невидимые элементы страницы, участвующие в оптимизации - это контейнеры и свойства, содержащие описания и информацию для нетрадиционных web-обозревателей (воспроизводящих человеческую речь или текстовых, примером которых может служить любой поисковый робот). Среди большинства оптимизаторов рассматриваемые ниже средства имеют не высокую репутацию. Действительно, манипулировать служебными элементами внутри страницы не представляет никакой сложности, и пионеры нечестной поисковой оптимизации активно использовали этот доступный арсенал, спровоцировав поисковые системы на менее доверчивое отношение. Однако нет совершенно никаких оснований полагать, что метод бездейственен: все эти детали утверждены консорциумом и закреплены стандартами, соответственно многие мастера, следующие предписаниям, служебные элементы используют, а значит, и поисковики эти элементы учтут, только выяснят прежде - не обманывают ли их.

meta дескриптор описания


Описание в дескрипторе meta изначально предусмотрено для возможности кратко презентовать содержимое документа. Важность этого поля основывается на том, что поисковые механизмы часто могут использовать это описание в качестве сниппета в SERP вместо релевантных фрагментов документа. Это не гарантируется и происходит в том случае, если описание релевантно документу и поисковому запросу. Очевидно, что сочиненное человеком описание в качестве сниппета гораздо более привлекательно, чем малосодержательный набор фраз, и это, соответственно увеличивает CTR вашей страницы в листе выдачи поисковика. Конечно, описание может отразиться и на поисковом ранге, но не значительно, тем более, что это даже не является его предназначением. Сочиняя описание, стоит помнить, что длинна сниппета ограничена (200 символов для MSN и 160 для Google), ориентироваться стоит на меньшее значение - ограничение по гуглу.

<head>
<meta name="description" value="Необходимые инструменты для самостоятельного изготовления музыкальных инструментов в домашних условиях.">
...
</head>

Ключевые слова в дескрипторе meta

Какие-либо изощренные манипуляции с этим элементом лишены смысла. Указывать стоит наиболее релевантные ключи, включая низкочастотные. Включение в список ключевых слов искаженных форм основных ключей не даёт никакого эффекта, если такие формы в вашем документе отсутствуют. Изобилие ключей не считается хорошим тоном; в действительности нормальный, структурированный тематический документ не сложно описать несколькими ключами. Если количество слов в поле перешло отметку "15" - это скорее всего значит, что вы выбрали несущественные ключи.

<head>
<meta name="keywords" value="музыкальные инструменты, обработка древесины, сверление, покраска, клей, инструмент, фурнитура">
...
</head>

Атрибуты alt и title

Эти дескрипторы не имеют отношения к собственно контенту и вообразимые манипуляции с их помощью весьма ограничены. Такие дескрипторы описывают лишь объект, к которому относятся (свойством которого являются). Следует определять эти свойства для всех объектов в документе, несущих смысловую нагрузку. Совершенно бессмысленно озаглавливать и снабжать альтернативной текстовой версией сугубо декоративные документы. Нельзя забывать о назначении свойств: alt - это альтернативное представление объекта (текст, которым будет заменен нетектовый объект в текстовом браузере или программе речевого просмотра), titile - это заглавие, название объекта (оно используется в подсказке, всплывающей при наведении курсора на объект). Оснащение такими дескрипторами делает объекты доступными для поиска картинок и т.п. Если навигация выполняется в виде графического блока, альтернативный вариант обязателен - в противном случае ваша навигация окажется недоступной для речевого воспроизведения и скрытой от текстовых браузеров. Значения полей обязаны быть короткими и должны отражать суть объекта.

Пример альтернативной записи для изображения:
<img src="img1.jpg" alt="Вертикальный сверлильный станок" />
Заглавие для ссылки:
<a href="link.html" title="Этапы заготовки древесины" >

Структурная верстка или актуальность блоков


Роботу неведом смысл решений дизайнера, и всё содержимое страницы он воспринимает абсолютно последовательно и логично. Так все блочные элементы вроде <div>, <p> или <table> служат для группировки связанного по смыслу контента. Неактуальное использование контейнеров для компановки текста может существенно ухудшить релевантновть всего документа. Например:
<div>изготовление</div><div>гитары</div>
менее релевантно чем
<div>изготовление гитары</div>

четверг, 17 апреля 2008 г.

Продвижение через социальные сети. Форумы

В начале текущего десятилетия сетевая общественность пережила очередной бум: интернет наводнился информационными досками нового порядка - такой сервис в скором времени стал однозначно классифицироваться как форум. Во многом тому способствовало усиление позиций всё ещё новой на то время технологии PHP, не желали сдаваться и поклонники Perl, однако в рамках данной публикации такие тонкости истории отношения к делу не имеют.


Говоря о принципиальных, существенных чертах в отношение форумов нужно подразумевать два аспекта - интерактивность и управляемость. Форумный сервис предназначен для организации коллективной поддержки информационного ресурса: несколько людей работают над содержанием ресурса, создавая, редактируя и дополняя отдельный кусочек единого целого. А поскольку "в семье не без урода", то и о возможном вандализме (или просто низкокачественном контенте) не приходится забывать - на этот счёт и предусмотрено управление.


Так для чего, наконец, всё это стоит себе представлять?


Именно: сообщения, которые вы предлагаете аудитории форумов нужно сотавлять правильно. Опубликовать сообщение на форуме не сложно, к тому сейчас есть хрумер и подобные ему средства пакостить. Но проблема в том, что большинство сео-копирайтеров, составляя текст сообщения, пользуются определённым клише, характерным для почтового спама, в то время как адресат - это не один абстрактный человек, а вполне конкретное сообщество с известными интересами. Нужно понимать, что задача - заинтересовать аудиторию своим сообщением, а не низкой ценой товара, привлекательностью предложения удлинения члена или неповторимостью внеочередной свалки с халявным софтом, mp3 и видео. Действовать нужно в соответствии с ролью участника сообщества, в которую вы непременно вступаете, вторгаясь в чужой монастырь. Что в вашем сообщении такого действительно удивительного и интересного, чтобы побудить людей дочитать до конца, да ещё и перейти по ссылке / купить что-либо? Аудитория форума - это от сотни, до десятков тысяч человек; вы запускаете свой хрумер с плохо составленным одним сообщением, для чего? Чтобы оставить десять тысяч ссылок? На всех живых форумах со спамом будут бороться, поисковые боты может быть и увидят ваши ссылки, но никакой гарантии, что будут в восторге, зато вся аудитория форумов может ваши действия принять в штыки - хорошую заработаете репутацию.


А ведь если подумать: профильный форум нужной тематики - это ваша ЦА (целевая аудитория) - так презентуйте надлежащим образом свой продукт заведомо заинтересованной аудитории - что может быть проще?


Не нужно использовать все известные вам лестные прилагательные и указывать досконально технические характеристики - будьте человеком, не уподобляйтесь роботу: чем, вы, человек, собираетесь поделиться сегодня с собратьями?


Маловато выходит? Потрудитесь собрать дополнительную информацию. Никто не заставляет вас упоминать конкурентов (а поливание конкурентов грязью вообще боком выйдет). Вы продаёте гвозди? Отлично: напишите о том, как делали ремонт в квартире (даче, сарае) и пользовались замечательными (вашими) гвоздями, превосходной дрелью (дрель ведь не конкурирующий продукт?) и стамесками.


Не стоит переоценивать трафик с поисковиков. Почему вы так уверены, что люди, заинтересованные в вашем продукте, придут вам непременно через поисковик? Наивно полагать, что интернет - это страницы что-либо продающие и просто мусор для манипулирования поисковыми роботами. Взаимодействуя с обществом, с людьми нужно работать преже всего.

среда, 16 апреля 2008 г.

Продвижение через социальные сети. Вступление

Продвижение в сети возможно осуществлять разными методами, но в данном случае речь пойдёт об одной категории, которую образно можно определить как интенсивную стимуляцию естественного течения. По сути, это методика, полностью опирающаяся на естественный рост (включая эффект так называемого "сарафанного радио" известного так же в безграмотной среде как "вирусный маркетинг") и заключающаяся в грамотном проектировании и реализации основы кампании по продвижению и управлении процессом роста ресурса и его эффективностью.