Удивительно, но это указано в их файле robots.txt.
Ссылка, которую вы ищете, это:
http://www.facebook.com/apps/site_scraping_tos.php
Если выуже не огромная организация, не ожидайте, что там будет явный белый список.Если у вас нет явного белого списка, вам не разрешено сканировать вообще, в соответствии с robots.txt и TOS.Вместо этого вы должны использовать API.
Даже не думайте притворяться одним из искателей, занесенных в белый список.Facebook фильтрует IP-адреса из белого списка для каждого сканера, а все остальное, что выглядит как сканирование, получает мгновенный бан.Некоторое время пользователи, которые просто нажимали слишком быстро, могли время от времени сталкиваться с этим.