Основная цель webdriver и таких инструментов, как WATIR и capybara, которые устанавливаются поверх webdriver, заключается в том, чтобы управлять браузером так, как это делает пользователь. Глубокая проверка результирующего сетевого трафика на самом деле не является частью инструмента.
Чтобы сделать это вручную, вы можете использовать вкладку сети инструментов разработчика, чтобы увидеть все запросы, которые происходят при загрузке страницы. Вы также можете использовать инструменты сетевого прослушивания или прокси, такие как fiddler-2, Charles, Wireshark или Netmon.
Чтобы сделать это программно, вы можете использовать nokogiri или подобный гем, который специализируется на разборе html, возможно, в сочетании с чем-то вроде rest-client, если вы действительно хотите делать запросы к различным конечным точкам API и работать с XML / JSON. возвращается вызываемыми службами. Это сообщение в блоге может быть полезным https://readysteadycode.com/howto-extract-data-from-html-with-ruby