эх, надо всё таки внешними средствами юзерагент сюда прикрутить :)
: Subject : auth-key (guest for guest)
CCBot/2.0 (https://commoncrawl.org/faq/)