Страница: https://forum.lowyat.net/PropertyForSale
Я пытаюсь почистить несколько тем из форума, используя более старую версию IPB (когда она была бесплатной).
Использование Xpath Helper (Chromeрасширение), я определил путь к названию темы.Например, это:
response.xpath("//div[@id='forum_topic_list']/table/tbody/tr[7]/td[@class='row1'][4]/div/div[1]/a[1]").extract()
должно возвращать:
WTS 2 storey terrace house
Но ничего не возвращается.
Только после расширения области, используя следующее, что яполучил ответ:
response.xpath("//div[@id='forum_topic_list']/table").extract()
, который, кажется, возвращает HTML страницы.
Я также попытался использовать селекторы CSS, которые дали лучший результат, используя следующее:
response.css('tr td.row1 div div a::text').extract()
Проблема в том, что он не возвращает только заголовок темы.
Что я делаю не так?
Редактировать: Просто хочу уточнить, что страница не отображает данные с использованием JavaScript, так как япопытался отключить JavaScript, он загрузился просто отлично.