Новости » Robots.txt исполнилось 20 лет

07.07.2014 Robots.txt исполнилось 20 лет

Robots.txt исполнилось 20 лет30 июня исполнилось 20 лет с момента создания директивы robots.txt, при помощи который вебмастера могут блокировать доступ роботов поисковых систем к элементам сайта.
В начале 90-х сайты не отличались той пропускной способностью, которая есть сейчас, поэтому ситуация, когда сайт не справлялся с наплывом краулеров, была нормой.

В то время веб-мастера больше заботились об их доступности для людей, нежели чем о позициях в выдаче, поэтому 30 июня 1994 года был принят стандарт, который помогал закрывать для роботов отдельные части сайта. Автором robots.txt стал Мартин Костер.

Основные поисковики того времени, включая AltaVista, WebCrawler и Lycos приняли нововведение и приспособили к нему свои алгоритмы. И 20 лет спустя поисковые системы подчиняются нулям и единицам, прописанным в roots.txt.

  
Важность robots.txt невозможно недооценивать. Вспомним хотя бы нашумевшие истории с появлением в выдаче Яндекса текстов SMS-сообщений пользователей «Мегафона» и данных о заказах в онлайн-магазинах игр, интим-товаров и книг. Поэтому в честь круглой даты обязательно навестите Robots.txt вашего сайта. И, как завещал Яндекс, предохраняйтесь!

(назад)

«Предыдущая новость

«Яндекс» тестирует региональное ранжирование еще для 16 регионов

Следующая новость»

Новинка в Google Analytics: улучшайте конверсию!

Интересные факты

Что такое SEO

SEO, что расшифровывается как Search Engine Optimization, представляет собой оптимизацию HTML-кода, структуры, текстов и внешних факторов сайта для того, чтобы поднять его в результатах поисковой выдачи. В российской действительности чаще всего применяются термины «поисковое продвижение сайта», а также «поисковая раскрутка сайта».

Раскрутка сайта и его продвижение — процесс достаточно трудоёмкий и требующий усилий истинных профессионалов. По сути своей, оптимизация web сайта, представляет собой seo анализ сайта с подбором ключевых слов, оптимизацией html-кода, регистрацией сайта в поисковиках и каталогах. Для занятия поисковой оптимизацией потребуется не просто знание SEO технологий, но также постоянное нахождение в курсе поисковой политики с новыми приёмами продвижения.

Не самая последняя роль в продвижении сайтов отводится текстам на сайте. Они должны быть написаны простым лаконичным языком, быть понятными, интересными пользователю, вызывающими желание читать дальше.

Наша компания отличается квалифицированными SEO специалистами, которые готовы к подбору действенных именно для Вас решений относительно раскрутки и продвижения. Обращайтесь к нам, и о Вашем сайте узнает огромная аудитория!


©2009-2019 3Webcats. Перепечатка информации возможна только с письменного разрешения компании.