Возможно, многие об этом уже знают, но я напишу для тех, кто не знает, т.к. сам узнал об этом сегодня.
При проверке купленных мной ссылок решил посмотреть причины Error-ов. Обычно я там замечал причины типа «ссылка не найдена на странице», «страница не отвечает» и «нет данных». Сегодня же обнаружил причину «страница запрещена robots.txt». Полез в robots.txt [...]






