Error-ы в Sape – robots.txt

Возможно, многие об этом уже знают, но я напишу для тех, кто не знает, т.к. сам узнал об этом сегодня.

При проверке купленных мной ссылок решил посмотреть причины Error-ов. Обычно я там замечал причины типа «ссылка не найдена на странице», «страница не отвечает» и «нет данных». Сегодня же обнаружил причину «страница запрещена robots.txt». Полез в robots.txt своих сайтов и нашел там кучу запрещённых страниц. В результате чего получается следующее.

Физически ссылка размещается на странице. Но страница, а соответственно и ссылка, Яндексом не индексируется. Sape автоматически присваивает ссылкам, которые куплены на страницах, указанных в вашем robots.txt, статус Error. В результате чего через некоторое время ссылка снимается, а деньги возвращаются покупателю.

Другими словами, затормаживается приток доходов и забивание рекламных мест, т.к. идёт цикл «размещение ссылки – оплата размещения – error – снятие ссылки – возврат денег». Вы как хотите, а я пошел править robots.txt)))

Комментарии по RSS | TrackBack Identifier URI