В настоящее время я использую cURL для выполнения HTTP-запросов, и это прекрасно работает. Однако мне нужно получить код javascript и выполнить его в контексте HTML, чтобы он управлял DOM точно так же, как если бы это был веб-браузер.
Первое, что пришло в голову, это использовать firefox , есть интерфейс командной строки, поэтому я подумал, что было бы легко (возможно, с некоторыми дополнениями) программно выполнить HTTP-запрос, он изначально запускает javascript и манипулирует DOM, а также получает сгенерированный HTML после манипуляции.
Однако это сложнее, чем я ожидал, учитывая также тот факт, что будут проблемы с извлечением данных асинхронно.
Может быть, кто-то уже сделал это и мог бы дать мне несколько советов о том, что будет лучшим решением.