Вам придется периодически перезагружать сайт. Не делайте это постоянно, потому что это будет слишком сложно для сервера.
Это потому, что HTTP по своей природе не является потоковым протоколом. Как только вы подключитесь к серверу, он ожидает, что вы сгенерируете на него HTTP-запрос, а затем сгенерирует ответ HTTP обратно на вас, содержащий страницу. Если ваш первоначальный запрос поддерживается (по умолчанию используется HTTP / 1.1,), вы можете снова выдать тот же запрос и обновить страницу.
Что я бы порекомендовал? В зависимости от ваших потребностей, переходите на страницу каждые n секунд, получайте нужные данные. Если сайт предоставляет API, вы можете воспользоваться этим. Также, если это ваш собственный сайт, вы можете реализовать Ajax в стиле комет через HTTP и получить истинный поток.
Также обратите внимание, что если это чужая страница, возможно, сайт использует Ajax через Javascript, чтобы обновлять ее; это означает, что есть другие запросы, вызывающие обновление, и вам может понадобиться проанализировать веб-сайт, чтобы выяснить, какие запросы вам нужно сделать, чтобы получить данные.