понедельник, 2 июня 2008 г.
Яndex и XML-SiteMaps или "свершилось чудо"
суббота, 31 мая 2008 г.
robots.txt - запрещающие инструкции
С появлением в сети роботов возник ряд угроз, спасти от которых и призвана технология "robots.txt". Возможные угрозы можно разделить на два класса: повышение нагрузки и злоупотребление данными. Перегружая ресурс запросами, робот легко может добиться от сервера отказа в обслуживании; получив данные, робот может организовать распространение или использование данных, не желательное для их владельца. Стандарт был принят в 1994-м году и с тех пор остался без изменений. Для всех интересующихся доступна официальная версия стандарта robots.txt на английском языке.
Что позволяет robots.txt?
Файл robots.txt позволяет владельцу веб-сайта проинструктировать робота-посетителя в вопросе того, как себя нужно вести. Проще говоря, в этом файле объявляются маски путей, по которым роботу запрещено следовать и производить индексацию.
Правила создания файла инструкций robots.txt
В соответствие со стандартом, инструкции могут быть размещены только в файле формата plain text с разрешением .txt и именем robots, составленным из символов нижнего регистра. Любые другие варианты имени, типа и формата недопустимы и будут проигнорированы роботом.
На сайте может быть лишь один файл robots.txt, хоторый должен быть размещен в корне домена. Файлы, размещенные по иному адресу роботом не просматриваются и не воспринимаются. Примеры првильного размещения robots.txt:
- http://www.w3.org/robots.txt
- http://www.microsoft.com/robots.txt
Содержание файла инструкций собирается из двух директив: User-agent и Disallow. Никаких других директив в robots.txt не предусмотрено и быть не должно — файл инструкций запрета не может что-либо разрешать.
Можно полностью запретить индексировать сайт всем роботам
User-agent: *
Disallow: /
А можно объявить роботу Google отсутствие запретов
User-agent: Googlebot
Disallow:
Для отделения каталога следует использовать косую черту.
Стоит понимать, что в директиве Disallow указывается маска, и в случае запрета
Disallow: topsecret
зепрещены будут все совпадения
- http://site.com/topsecret.txt
- http://site.com/topsecret/page.html
- http://site.com/topsecretdirectory/scripts/top.php
- http://site.com/xxx/topsecret.html
Важно: директивы в robots.txt не наследуются. Запрет, объявленный для произвольных роботов не является действующим для робота, которому объявлена персональная инструкция.
User-agent: *
Disallow: /films/
User-agent: Yandex
Disallow: /songs/
В примере всем роботам запрещен раздел фильмов, а Яндексу - раздел песен, при этом директория фильмов ему разрешена. Для запрета директории её нужно указать повторно в инструкции для Яндекса.
Для чего нужно использовать robots.txt?
Следует исключить доступ роботов к дублированному, не уникальному и любому другому контенту сайта, ценность которого робот может определить как низкую. Можно запретить доступ к отдельным материалам сайта, которые без связи со страницей или другими элементами теряют ценность или не подлежат распространению.
Чего нет в robots.txt?
Стандартом не предусмотрено использование регулярных выражений. Инструкция
Disallow: /index.php?ShowPageNumber=*
ничего не запрещает, т.к. на сервере нет вайла с таким именем.
среда, 7 мая 2008 г.
Яндекс и XML-SiteMaps
Я хочу знать, поддерживет ли Яндекс страндарт поисковых xml-карт сайта (http://www.sitemaps.org/ru/).
Стандартный запрос для указания поисковому механизму адреса карты сайта выглядит таким образом:
http://www.google.com/ping?sitemap=discussion.inscrutable.info/sitemap.xml
Но, в отличие от Google, Yahoo! и Live Search, для Яндекса я не нашёл способа узазать карту.
Если это вообще возможно, подскажите, как это сделась. Если же нет, то я был бы благодарен вам, если бы вы сообщили ориентировочную дату внедрения этого стандарта для Яндекс.
Прошло чуть более суток, когда я получил ответ:
Вот прям сейчас карту сайта загрузить, увы, нельзя, но, скажу Вам по секрету, буквально на днях такая возможность должна появиться. Следите за новостями!
С уважением, Платон Щукин
Служба поддержки Яндекс.Ру
Такое вот по секрету. Ждём и морально готовимся.
понедельник, 21 апреля 2008 г.
Поисковая оптимизация. Невидимые внутренности
meta дескриптор описания
Описание в дескрипторе meta изначально предусмотрено для возможности кратко презентовать содержимое документа. Важность этого поля основывается на том, что поисковые механизмы часто могут использовать это описание в качестве сниппета в SERP вместо релевантных фрагментов документа. Это не гарантируется и происходит в том случае, если описание релевантно документу и поисковому запросу. Очевидно, что сочиненное человеком описание в качестве сниппета гораздо более привлекательно, чем малосодержательный набор фраз, и это, соответственно увеличивает CTR вашей страницы в листе выдачи поисковика. Конечно, описание может отразиться и на поисковом ранге, но не значительно, тем более, что это даже не является его предназначением. Сочиняя описание, стоит помнить, что длинна сниппета ограничена (200 символов для MSN и 160 для Google), ориентироваться стоит на меньшее значение - ограничение по гуглу.
<head>
<meta name="description" value="Необходимые инструменты для самостоятельного изготовления музыкальных инструментов в домашних условиях.">
...
</head>
Ключевые слова в дескрипторе meta
Какие-либо изощренные манипуляции с этим элементом лишены смысла. Указывать стоит наиболее релевантные ключи, включая низкочастотные. Включение в список ключевых слов искаженных форм основных ключей не даёт никакого эффекта, если такие формы в вашем документе отсутствуют. Изобилие ключей не считается хорошим тоном; в действительности нормальный, структурированный тематический документ не сложно описать несколькими ключами. Если количество слов в поле перешло отметку "15" - это скорее всего значит, что вы выбрали несущественные ключи.<head>
<meta name="keywords" value="музыкальные инструменты, обработка древесины, сверление, покраска, клей, инструмент, фурнитура">
...
</head>
Атрибуты alt и title
Эти дескрипторы не имеют отношения к собственно контенту и вообразимые манипуляции с их помощью весьма ограничены. Такие дескрипторы описывают лишь объект, к которому относятся (свойством которого являются). Следует определять эти свойства для всех объектов в документе, несущих смысловую нагрузку. Совершенно бессмысленно озаглавливать и снабжать альтернативной текстовой версией сугубо декоративные документы. Нельзя забывать о назначении свойств: alt - это альтернативное представление объекта (текст, которым будет заменен нетектовый объект в текстовом браузере или программе речевого просмотра), titile - это заглавие, название объекта (оно используется в подсказке, всплывающей при наведении курсора на объект). Оснащение такими дескрипторами делает объекты доступными для поиска картинок и т.п. Если навигация выполняется в виде графического блока, альтернативный вариант обязателен - в противном случае ваша навигация окажется недоступной для речевого воспроизведения и скрытой от текстовых браузеров. Значения полей обязаны быть короткими и должны отражать суть объекта.Пример альтернативной записи для изображения:
<img src="img1.jpg" alt="Вертикальный сверлильный станок" />
Заглавие для ссылки:
<a href="link.html" title="Этапы заготовки древесины" >
Структурная верстка или актуальность блоков
Роботу неведом смысл решений дизайнера, и всё содержимое страницы он воспринимает абсолютно последовательно и логично. Так все блочные элементы вроде <div>, <p> или <table> служат для группировки связанного по смыслу контента. Неактуальное использование контейнеров для компановки текста может существенно ухудшить релевантновть всего документа. Например:
<div>изготовление</div><div>гитары</div>
менее релевантно чем
<div>изготовление гитары</div>
четверг, 17 апреля 2008 г.
Продвижение через социальные сети. Форумы
В начале текущего десятилетия сетевая общественность пережила очередной бум: интернет наводнился информационными досками нового порядка - такой сервис в скором времени стал однозначно классифицироваться как форум. Во многом тому способствовало усиление позиций всё ещё новой на то время технологии PHP, не желали сдаваться и поклонники Perl, однако в рамках данной публикации такие тонкости истории отношения к делу не имеют.
Говоря о принципиальных, существенных чертах в отношение форумов нужно подразумевать два аспекта - интерактивность и управляемость. Форумный сервис предназначен для организации коллективной поддержки информационного ресурса: несколько людей работают над содержанием ресурса, создавая, редактируя и дополняя отдельный кусочек единого целого. А поскольку "в семье не без урода", то и о возможном вандализме (или просто низкокачественном контенте) не приходится забывать - на этот счёт и предусмотрено управление.
Так для чего, наконец, всё это стоит себе представлять?
Именно: сообщения, которые вы предлагаете аудитории форумов нужно сотавлять правильно. Опубликовать сообщение на форуме не сложно, к тому сейчас есть хрумер и подобные ему средства пакостить. Но проблема в том, что большинство сео-копирайтеров, составляя текст сообщения, пользуются определённым клише, характерным для почтового спама, в то время как адресат - это не один абстрактный человек, а вполне конкретное сообщество с известными интересами. Нужно понимать, что задача - заинтересовать аудиторию своим сообщением, а не низкой ценой товара, привлекательностью предложения удлинения члена или неповторимостью внеочередной свалки с халявным софтом, mp3 и видео. Действовать нужно в соответствии с ролью участника сообщества, в которую вы непременно вступаете, вторгаясь в чужой монастырь. Что в вашем сообщении такого действительно удивительного и интересного, чтобы побудить людей дочитать до конца, да ещё и перейти по ссылке / купить что-либо? Аудитория форума - это от сотни, до десятков тысяч человек; вы запускаете свой хрумер с плохо составленным одним сообщением, для чего? Чтобы оставить десять тысяч ссылок? На всех живых форумах со спамом будут бороться, поисковые боты может быть и увидят ваши ссылки, но никакой гарантии, что будут в восторге, зато вся аудитория форумов может ваши действия принять в штыки - хорошую заработаете репутацию.
А ведь если подумать: профильный форум нужной тематики - это ваша ЦА (целевая аудитория) - так презентуйте надлежащим образом свой продукт заведомо заинтересованной аудитории - что может быть проще?
Не нужно использовать все известные вам лестные прилагательные и указывать досконально технические характеристики - будьте человеком, не уподобляйтесь роботу: чем, вы, человек, собираетесь поделиться сегодня с собратьями?
Маловато выходит? Потрудитесь собрать дополнительную информацию. Никто не заставляет вас упоминать конкурентов (а поливание конкурентов грязью вообще боком выйдет). Вы продаёте гвозди? Отлично: напишите о том, как делали ремонт в квартире (даче, сарае) и пользовались замечательными (вашими) гвоздями, превосходной дрелью (дрель ведь не конкурирующий продукт?) и стамесками.
Не стоит переоценивать трафик с поисковиков. Почему вы так уверены, что люди, заинтересованные в вашем продукте, придут вам непременно через поисковик? Наивно полагать, что интернет - это страницы что-либо продающие и просто мусор для манипулирования поисковыми роботами. Взаимодействуя с обществом, с людьми нужно работать преже всего.