Новости » Robots.txt исполнилось 20 лет
07.07.2014 Robots.txt исполнилось 20 лет

В то время веб-мастера больше заботились об их доступности для людей, нежели чем о позициях в выдаче, поэтому 30 июня 1994 года был принят стандарт, который помогал закрывать для роботов отдельные части сайта. Автором robots.txt стал Мартин Костер.
Основные поисковики того времени, включая AltaVista, WebCrawler и Lycos приняли нововведение и приспособили к нему свои алгоритмы. И 20 лет спустя поисковые системы подчиняются нулям и единицам, прописанным в roots.txt.

«Предыдущая новость «Яндекс» тестирует региональное ранжирование еще для 16 регионов | Следующая новость» |
