Новости » Robots.txt исполнилось 20 лет

07.07.2014 Robots.txt исполнилось 20 лет

Robots.txt исполнилось 20 лет30 июня исполнилось 20 лет с момента создания директивы robots.txt, при помощи который вебмастера могут блокировать доступ роботов поисковых систем к элементам сайта.
В начале 90-х сайты не отличались той пропускной способностью, которая есть сейчас, поэтому ситуация, когда сайт не справлялся с наплывом краулеров, была нормой.

В то время веб-мастера больше заботились об их доступности для людей, нежели чем о позициях в выдаче, поэтому 30 июня 1994 года был принят стандарт, который помогал закрывать для роботов отдельные части сайта. Автором robots.txt стал Мартин Костер.

Основные поисковики того времени, включая AltaVista, WebCrawler и Lycos приняли нововведение и приспособили к нему свои алгоритмы. И 20 лет спустя поисковые системы подчиняются нулям и единицам, прописанным в roots.txt.

  
Важность robots.txt невозможно недооценивать. Вспомним хотя бы нашумевшие истории с появлением в выдаче Яндекса текстов SMS-сообщений пользователей «Мегафона» и данных о заказах в онлайн-магазинах игр, интим-товаров и книг. Поэтому в честь круглой даты обязательно навестите Robots.txt вашего сайта. И, как завещал Яндекс, предохраняйтесь!

(назад)

«Предыдущая новость

«Яндекс» тестирует региональное ранжирование еще для 16 регионов

Следующая новость»

Новинка в Google Analytics: улучшайте конверсию!

Интересные факты

Когда появился первый веб-сайт

Самый первый веб-сайт в мире появился 6 августа 1991 года. Пусть и несколько модифицированный, сайт существует и до сегодняшнего дня. Просмотреть его можно по следующему адресу: http://info.cern.ch/

Создателем первого сайта стал Тим Бернерс-Ли (Tim Burners-Lee), опубликовавший на нём описание новой технологии под названием World Wide Web (WWW), в основе которой лежит протокол передачи данных http, а также язык гипертекстовой разметки HTML. На сайте присутствуют также принципы относительно того, как устанавливаются и работают веб-сервера и веб-браузеры. Сайт, о котором идёт речь, стал ещё и Интернет-каталогом, тоже самым первым в мире. Произошло это из-за того, что Тим Бернерс-Ли впоследствии разместил на нём список ссылок на прочие сайты.

Инструменты, что необходимы для работы первого сайта, были подготовлены Бернерсом-Ли несколько ранее. Первый гипертекстовый веб-браузер World Wide Web появился уже в конце 1990 года и был оснащён функционалом веб-редактора, первым веб-сервером и первыми веб-страницами. Бернерс-Ли своим творением сумел продемонстрировать возможность гипертекстового доступа к документам, внутреннему поисковику, а также новостным Интернет-ресурсам. Результатом явилось утверждение в мае 1991 года в CERN стандарта WWW.


©2009-2020 3Webcats. Перепечатка информации возможна только с письменного разрешения компании.