Я пытаюсь читать сообщения чата YouTube с помощью HtmlUnit
@Test
void test() throws IOException {
try (final WebClient webClient = new WebClient()) {
webClient.getOptions().setThrowExceptionOnScriptError(false);
webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
final HtmlPage page = webClient.getPage("https://www.youtube.com/live_chat?v=" + id);
webClient.waitForBackgroundJavaScriptStartingBefore(2000);
DomNodeList<DomElement> elementsByTagName = page.getElementsByTagName("yt-live-chat-text-message-renderer");
System.out.println(elementsByTagName.size());
}
}
String id
- это прямая трансляция YouTube, содержащая (!) Сообщения чата
Выполнение этого никогда не вернет никаких элементов стег yt-live-chat-text-message-renderer
.Я пробовал различные методы wait () без какого-либо успеха.Я заметил, что в браузере страница загружается дважды, и только в конце начинает отображаться чат.