Я хотел бы написать программу, которая позволяет мне видеть URL-адреса всех необходимых файлов, необходимых для загрузки любой конкретной веб-страницы (изображения, файлы CSS, файлы JavaScript и т. Д.). По сути, мне нужна программа, которая может генерировать список файлов, которые может создать вкладка Chrome Network в Developer Tools (или плагин Firefox для Firefox).
wget будет простым ответом, но он не выполняет javascript, что часто может привести к дополнительным зависимостям (например, путем рисования тега изображения в документе). Мне интересно, может ли модуль Python webkit помочь. Он может полностью отображать веб-страницу, поэтому в какой-то момент он должен знать, как найти все зависимости.
Я сталкивался с этим методом для выполнения javascript из Python, но результатом на Google.co.uk является HTML-страница с пустым телом. http://blog.motane.lu/2009/06/18/pywebkitgtk-execute-javascript-from-python/
Есть ли способ подключиться к внутренней работе модуля webkit, чтобы получить список всех файлов, которые он использовал для отображения страницы? У кого-нибудь есть другие предложения?
Ура!