Сейчас сижу разбираюсь с прогоном сайта по каталогам. Действенное ли это вообще? Надо ли это делать? Не попробуешь — не узнаешь. Такое ощущение что все записи на эту тему на сайтах написаны наоборот, чтобы помешать тем, кто пытается это сделать добиться цели.