Вы не можете использовать расширения C в App Engine, который исключает lxml и (я полагаю) libxml2 и pyopenssl.
Я сомневаюсь, что большинство из того, что делает Twisted, возможно и в песочнице App Engine;вы не можете напрямую открывать сокеты или порождать потоки.
EDIT (январь 2013): среда выполнения Python 2.7 включает некоторые расширения C, включая lxml.Тем не менее, по-прежнему невозможно использовать расширения C, которые не предоставляются Google во время выполнения;Скорее всего, в настоящее время скрап еще не используется.