У меня есть веб-сайт Drupal (не могу показать), на нем HTML-таблица. Мне нужно свернуть строки из этой таблицы.
По умолчанию просмотр таблицы нежелателен для сканирования:
- таблица показывает только 15 строк, чтобы увидеть следующие 15 строк нужно нажать на
Кнопка «Далее».
- там нет колонки "страна", она есть в отдельном
строки.
Эти две проблемы решаются фильтром:
- Мне нужно изменить «15» на «всех» строках на странице.
- Снимите флажок и появится столбец "страна".
После этого стол готов к переполнению.
Я заметил, что когда я нажимаю кнопку «Далее» или изменяю параметры таблицы в F12 -> Сеть, я вижу POST-запрос ajax с большим телом. Есть данные, которые отвечают за «строки на страницу» и «столбец« страна »». Я попытался сделать запрос POST с телом, которое состоит из моих данных. Я получаю только ответ «Плохой запрос». После этого я увидел, что в организме есть данные, которые отвечают за соль.
Я нахожу эту соль в html и получаю ее динамически из html.
В данный момент я делаю POST-запрос, получаю ответ 200, но эта страница неверна.
Вопрос:
Как я могу получить страницу Scrapy в режиме "готов к сканированию"? Как я могу взаимодействовать с фильтром из кода?
Я понимаю, что мое объяснение ситуации очень абстрактно, но я буду рад всем идеям и решениям! Большое спасибо заранее !!