Как и у господина Морозова, я тоже довольно много соскребаю, главным образом с рабочих мест. Мне никогда не приходилось прибегать к механизации, если это кому-нибудь поможет. Beautifulsoup в сочетании с urllib2 всегда были достаточны.
Я использовал lxml, и это здорово. Однако я полагаю, что он мог быть недоступен в приложениях Google несколько месяцев назад, когда я его пробовал, если вам это нужно.
Благодарю господина Морозова за упоминание Scrapy. Не слышал об этом.