Новости » Robots.txt исполнилось 20 лет

07.07.2014 Robots.txt исполнилось 20 лет

Robots.txt исполнилось 20 лет30 июня исполнилось 20 лет с момента создания директивы robots.txt, при помощи который вебмастера могут блокировать доступ роботов поисковых систем к элементам сайта.
В начале 90-х сайты не отличались той пропускной способностью, которая есть сейчас, поэтому ситуация, когда сайт не справлялся с наплывом краулеров, была нормой.

В то время веб-мастера больше заботились об их доступности для людей, нежели чем о позициях в выдаче, поэтому 30 июня 1994 года был принят стандарт, который помогал закрывать для роботов отдельные части сайта. Автором robots.txt стал Мартин Костер.

Основные поисковики того времени, включая AltaVista, WebCrawler и Lycos приняли нововведение и приспособили к нему свои алгоритмы. И 20 лет спустя поисковые системы подчиняются нулям и единицам, прописанным в roots.txt.

  
Важность robots.txt невозможно недооценивать. Вспомним хотя бы нашумевшие истории с появлением в выдаче Яндекса текстов SMS-сообщений пользователей «Мегафона» и данных о заказах в онлайн-магазинах игр, интим-товаров и книг. Поэтому в честь круглой даты обязательно навестите Robots.txt вашего сайта. И, как завещал Яндекс, предохраняйтесь!

(назад)

«Предыдущая новость

«Яндекс» тестирует региональное ранжирование еще для 16 регионов

Следующая новость»

Новинка в Google Analytics: улучшайте конверсию!

Интересные факты

Веб-дизайн: что он собой представляет и насколько важен для сайта

Веб-дизайн, понятие, которое происходит от английского Web design, представляет собою отрасль веб-разработки и при этом разновидность дизайна. Главной его задачей является проектирование пользовательских веб-интерфейсов, которые применяются на сайтах, либо в веб-приложениях. Веб-дизайнеры делают всё, чтобы грамотно спроектировать логическую структуру веб-страниц, продумать, как сделать так, чтобы информация подавалась в наиболее удобном виде, а также художественно оформляют веб-проект. На стыке двух отраслей деятельности человека грамотный веб-дизайнер в обязательном порядке должен обладать знаниями в сфере новейших веб-технологий и иметь качества настоящего художника.

Не найдётся человека, который бы не знал старую мудрую поговорку, которая гласит о том, что встречают по одёжке, а провожают точно по уму. Пословица применима и к внешнему виду сайта, роль которого попросту огромна. Ведь согласитесь, дизайн сайта, не раздражающий глаз, целиком и полностью отражает тематику организации. Потому такой веб-проект не хочется покидать, а лишь познакомиться с ним более подробно.

Наша компания в курсе всех новых веяний и мировых тенденций относительно веб-проектов. Мы не используем набившие оскомину шаблоны, а создаём дизайн-проект сайта как индивидуальное решение, которое подходит для конкретного клиента. Обратитесь к нам, и Вы получите веб-проект, нисколько не похожий на общую серую массу, с учётом Ваших пожеланий относительно цвета и функционала.


©2009-2020 3Webcats. Перепечатка информации возможна только с письменного разрешения компании.