почему в urllib2 отсутствуют поля таблицы, которые я вижу в исходном коде Firefox?

Question

В html, который я получаю от urllib2, отсутствуют десятки полей данных, которые я вижу при просмотре источника URL-адреса в Firefox. Любые советы будут высоко ценится. Вот как это выглядит:

из источника просмотра FireFox:

# ...<td class=td6>as</td></tr></thead>|ManyFields|<br></div><div id="c1">...

из urllib2 возврат HTML:

# ...<td class=td6>as</td></tr></thead>|</table>|<br></div><div id="c1">...

Answer 1

Из поверхностной проверки кажется, что на странице, которую вы получаете, есть лот Javascript; возможно, что Javascript сотрудничает в создании информации, которую вы видите в конце в Firefox (по крайней мере, некоторые из них активно изменяют содержимое страницы). Если вам нужно очистить JS-богатые страницы, лучше всего автоматизировать браузер с помощью Selenium .

.

Answer 2

Дополнительный контент, который вы видите, генерируется JavaScript. Он не является частью необработанного HTML-документа и, следовательно, не будет присутствовать с простым HTTP-сборщиком, таким как urllib2.