Не хотите, чтобы изображения загружались и CSS отображался в Firefox в тестах Selenium WebDriver с Python - PullRequest
32 голосов
/ 23 августа 2011

Я использую Selenium 2 с привязками Python для получения некоторых данных с сайта нашего партнера. Но в среднем у меня уходит около 13 секунд на выполнение этой операции.

Я искал способ отключить изображения CSS и Flash и т. Д.

Я использую Firefox 3.6, а также pyvirtualdisplay, чтобы предотвратить открытие окна Firefox. Любая другая оптимизация для ускорения Firefox также будет полезна.
Я уже пробовал network.http.* варианты, но не сильно помогает.

А также установить permissions.default.image = 2

Ответы [ 5 ]

56 голосов
/ 30 сентября 2011

Я нашел способ предотвратить загрузку Firefox CSS, изображений и Flash.

from selenium.webdriver.firefox.firefox_profile import FirefoxProfile

def disableImages(self):
    ## get the Firefox profile object
    firefoxProfile = FirefoxProfile()
    ## Disable CSS
    firefoxProfile.set_preference('permissions.default.stylesheet', 2)
    ## Disable images
    firefoxProfile.set_preference('permissions.default.image', 2)
    ## Disable Flash
    firefoxProfile.set_preference('dom.ipc.plugins.enabled.libflashplayer.so',
                                  'false')
    ## Set the modified profile while creating the browser object 
    self.browserHandle = webdriver.Firefox(firefoxProfile)

Еще раз спасибо @Simon и @ernie за ваши предложения.

10 голосов
/ 23 июля 2015

К сожалению, опция firefox_profile.set_preference('permissions.default.image', 2), похоже, больше не работает для отключения изображений с последней версией Firefox - [для причины см. Ответ Алекса на мой вопрос Не удается отключить изображения в Selenium / Firefox ]

Лучшее решение, которое у меня было, - это использовать расширение firefox quickjava, которое, среди прочего, может отключать изображения - https://addons.mozilla.org/en-us/firefox/addon/quickjava/

Мой код Python:

 from selenium import webdriver
 firefox_profile = webdriver.FirefoxProfile()

 firefox_profile.add_extension(folder_xpi_file_saved_in + "\\quickjava-2.0.6-fx.xpi")
 firefox_profile.set_preference("thatoneguydotnet.QuickJava.curVersion", "2.0.6.1") ## Prevents loading the 'thank you for installing screen'
 firefox_profile.set_preference("thatoneguydotnet.QuickJava.startupStatus.Images", 2)  ## Turns images off
 firefox_profile.set_preference("thatoneguydotnet.QuickJava.startupStatus.AnimatedImage", 2)  ## Turns animated images off

 driver = webdriver.Firefox(firefox_profile)
 driver.get(web_address_desired)

ОтключениеCSS (и я думаю, flash) по-прежнему работают с firefox.но они и другие части также могут быть отключены путем добавления строк:

  firefox_profile.set_preference("thatoneguydotnet.QuickJava.startupStatus.CSS", 2)  ## CSS
  firefox_profile.set_preference("thatoneguydotnet.QuickJava.startupStatus.Cookies", 2)  ## Cookies
  firefox_profile.set_preference("thatoneguydotnet.QuickJava.startupStatus.Flash", 2)  ## Flash
  firefox_profile.set_preference("thatoneguydotnet.QuickJava.startupStatus.Java", 2)  ## Java
  firefox_profile.set_preference("thatoneguydotnet.QuickJava.startupStatus.JavaScript", 2)  ## JavaScript
  firefox_profile.set_preference("thatoneguydotnet.QuickJava.startupStatus.Silverlight", 2) 
9 голосов
/ 13 ноября 2015

Новое редактирование

Прошло много времени с тех пор, как я написал это, и я могу сказать, что область веб-автоматизации (в целях тестирования или сканирования / сканирования) сильно изменилась.Основные браузеры уже представили флаг --headless и даже интерактивную оболочку.Больше не нужно менять старую старую переменную DISPLAY в Linux.

Firefox также изменился, перейдя на Servo движок, написанный на Rust.Я попробовал профиль ниже с современной версией (в частности, 62.0).Некоторые работали, некоторые нет.Имейте это в виду.


Я просто продолжаю ответ Кирении в этом вопросе.Однако отключение CSS может привести к тому, что Jquery не сможет манипулировать элементами DOM.Используйте QuickJava и те, что ниже:

profile.set_preference("network.http.pipelining", True)
profile.set_preference("network.http.proxy.pipelining", True)
profile.set_preference("network.http.pipelining.maxrequests", 8)
profile.set_preference("content.notify.interval", 500000)
profile.set_preference("content.notify.ontimer", True)
profile.set_preference("content.switch.threshold", 250000)
profile.set_preference("browser.cache.memory.capacity", 65536) # Increase the cache capacity.
profile.set_preference("browser.startup.homepage", "about:blank")
profile.set_preference("reader.parse-on-load.enabled", False) # Disable reader, we won't need that.
profile.set_preference("browser.pocket.enabled", False) # Duck pocket too!
profile.set_preference("loop.enabled", False)
profile.set_preference("browser.chrome.toolbar_style", 1) # Text on Toolbar instead of icons
profile.set_preference("browser.display.show_image_placeholders", False) # Don't show thumbnails on not loaded images.
profile.set_preference("browser.display.use_document_colors", False) # Don't show document colors.
profile.set_preference("browser.display.use_document_fonts", 0) # Don't load document fonts.
profile.set_preference("browser.display.use_system_colors", True) # Use system colors.
profile.set_preference("browser.formfill.enable", False) # Autofill on forms disabled.
profile.set_preference("browser.helperApps.deleteTempFileOnExit", True) # Delete temprorary files.
profile.set_preference("browser.shell.checkDefaultBrowser", False)
profile.set_preference("browser.startup.homepage", "about:blank")
profile.set_preference("browser.startup.page", 0) # blank
profile.set_preference("browser.tabs.forceHide", True) # Disable tabs, We won't need that.
profile.set_preference("browser.urlbar.autoFill", False) # Disable autofill on URL bar.
profile.set_preference("browser.urlbar.autocomplete.enabled", False) # Disable autocomplete on URL bar.
profile.set_preference("browser.urlbar.showPopup", False) # Disable list of URLs when typing on URL bar.
profile.set_preference("browser.urlbar.showSearch", False) # Disable search bar.
profile.set_preference("extensions.checkCompatibility", False) # Addon update disabled
profile.set_preference("extensions.checkUpdateSecurity", False)
profile.set_preference("extensions.update.autoUpdateEnabled", False)
profile.set_preference("extensions.update.enabled", False)
profile.set_preference("general.startup.browser", False)
profile.set_preference("plugin.default_plugin_disabled", False)
profile.set_preference("permissions.default.image", 2) # Image load disabled again

Что это делает?Вы можете увидеть, что он делает в комментариях.Тем не менее, я также нашел пару записей о: config для увеличения производительности.Например, приведенный выше код не загружает шрифт или цвета документа, но загружает CSS, поэтому Jquery - или любая другая библиотека - может манипулировать элементами DOM и не вызывает ошибку.(Для дальнейшей отладки вы все равно загружаете CSS, но ваш браузер будет переходить по строкам, содержащим специальное семейство шрифтов или определение цвета. Таким образом, браузер будет загружать и загружать CSS, но использовать системные настройки по умолчанию и стилизовать страницу быстрее.)

Для получения дополнительной информации, ознакомьтесь с этой статьей .


Редактировать (Тесты)

Я только что провел тест производительности.Вам не нужно серьезно относиться к результатам, так как я сделал этот тест только один раз, чтобы у вас была идея.

Я провел тест на старой машине с процессором Intel Pentium 2,2 ГГц, 3 ГБ ОЗУ сОбласть подкачки 4 ГБ, система Ubuntu 14.04 x64.

Тест состоит из трех этапов:

  • Производительность загрузки драйвера : секунды, потраченные на загрузку драйвера в webdriver module.
  • Производительность загрузки страницы : количество секунд, потраченных на загрузку страницы.Он также включает в себя скорость интернета, однако процесс рендеринга также включен.
  • Производительность проверки DOM : Скорость проверки DOM на странице.

Я использовал эта страница в качестве субъекта и проверена .xxy a в качестве селектора CSS.Затем я использовал специальный процесс один за другим.

Селен, Firefox, Нет профиля

Driver Loading Performance: 13.124099016189575
Page Loading Performance: 3.2673521041870117
DOM Inspecting Performance: 67.82778096199036

Селен, Firefox, Профиль выше

Driver Loading Performance: 7.535895824432373
Page Loading Performance: 2.9704301357269287
DOM Inspecting Performance: 64.25136017799377

Редактировать (О безголовости)

Я сделал тест, может быть, месяц назад, но я не мог взять результаты.Тем не менее, я хочу отметить, что скорость загрузки драйверов, загрузки страниц и проверки DOM снижается до десять секунд , когда Firefox используется без заголовка.Это было действительно круто.

2 голосов
/ 23 августа 2011

Вы можете отключить изображения / CSS с помощью панели инструментов веб-разработчика Addon.

https://addons.mozilla.org/en-US/firefox/addon/web-developer/

перейдите в CSS-> Отключить и Изображения-> Отключить

1 голос
/ 24 ноября 2015

Для всех, кто заинтересован в использовании оригинального прямого подхода, предложенного Anupam:

Просто установите Firefox версии 20.0.1 (https://ftp.mozilla.org/pub/firefox/releases/20.0.1/) - отлично работает.

Другие версии также могут работать (версии 32 и выше и версии 3.6.9 и ниже НЕ работают)

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...