Обновленный ответ (после редактирования вопроса):
Я думаю, что это может быть проще, чем это.Если вы обратите внимание на URL продукта, вы увидите, что в конце URL есть какой-то идентификатор:
http://www.walmart.com/ip/Ematic-9-Dual-Screen-Portable-DVD-Player-with-Dual-DVD-Players-ED929D/28806789
Если вы его получитеID, вы можете взять корневую страницу отзывов (https://www.walmart.com/reviews/product/) и указать идентификатор продукта:
https://www.walmart.com/reviews/product/28806789
Теперь вы можете выполнять итерациюнад продуктами, возьмите конечный идентификатор и перейдите на каждую страницу отзывов, чтобы получить все отзывы.
Надеюсь, что это помогло.
Старый ответ (перед редактированием вопроса):
Страница, которую вы разместили, для меня пуста. Однако я вижу, что этот элемент является кнопкой, поэтому вам нужно найти форму и затем отправить ее.
Пример взят из Нажатие кнопки с помощью Ruby mechanize (если по какой-то причине ссылка перестает работать):
# get the form
form = agent.page.form_with(:name => "my-form")
# get the button you want from the form
button = form.button_with(:value => "Search")
# submit the form using that button
agent.submit(form, button)
Кредит @flaviu и @serabe из поставленного вопроса.
Чтобы выполнить очистку, вы должны сохранить корневой URL-адрес и перейти на страницы обзора, получить отзывы, вернуться к корневому URL-адресу и т. Д.на.