Теперь есть инструменты для достижения именно того, о чем вы просите. Лучшим классом инструментов, если не единственным, является, вероятно, " headless-browser ".
По-видимому, было несколько попыток в браузерах без головы, но тот, который, кажется, понял это правильно, называется PhantomJS .
PhantomJS - это в основном браузер WebKit без какого-либо дисплея, поэтому вся логика компоновки, JavaScript и т. Д. Все вместе с базовым HTTP-клиентом, как и в браузере, потому что это браузер .
PhantomJS предоставляет некоторый интерфейс в JavaScript, но, по-видимому, сам по себе он не так прост в использовании. Чтобы сделать его более полезным, появился другой проект: CasperJS .
Здесь стоит упомянуть еще один проект, SpookyJS . Его работа заключается в том, чтобы выступать в качестве посредника между node.js и PhantomJS, поскольку оба реализуют цикл обработки событий JavaScript, их сложно интегрировать. С SpookyJS вы можете написать на своем компьютере или сервере скрипт HTTP-клиента на JavaScript.