Протокол усунення роботів REP (Robots Exclusion Protocol) опрацьовує файли robots.txt і дозволяє сайтам блокувати веб-сканери, як от Googlebot. Вони не помічають певний контент, тож беззмістовної індексації стає менше.
Протокол існує вже 25 років і вважається «одним з базових і водночас контроверсійних компонентів мережі». Проблема в тому, що всі інтерпретували його по-різному. Зараз Google вирішив його удосконалити та зробити інтернет-стандартом.
Компанія відкрила код синтаксичного аналізатора, що декодує файли robots.txt. Те, що процес став зрозумілішим і чіткішим, має забезпечити єдиний і цілісний формат сканування в мережі.
Google створить спеціальну групу Internet Engineering Task Force. Вона визначить, як саме сканери будуть опрацьовувати robots.txt, щоб все працювало злагоджено і добре.
Поки що є лише чорновий варіант розробки. Він буде працювати з веб-сайтами, мінімальним розміром файлів, встановлюватиме максимальний час одноденного кешування і даватиме сайтам перерву в разі проблем із сервером.
Ще немає коментарів