Robots.txt помогает в индексации

Posted on March 6, 2007
Filed Under Как сделать?, Блоггинг | 3 Comments

Тэги:

То что robots.txt важный файл знают или догадываются многие. Но вот Neil Patel в своей заметке описал манипуляции с этим файлом о которых я раньше не думал.

Он предлагает тщательным образом отобрать (в частности в своих блогах) страницы, которые содержат дублирующий контент или содержат недостаточно контента (служебные страницы Login или Password Remind, например) и исключить их из индексации в файле роботс. Также, он предлагает там же отключить индексацию фидов (рсс-лент) на каждый пост (комментариев).

Не знаю, насколько это эффективно, но Нейл пишет об увеличении траффика после таких манипуляций на 11%.

« go back