Лучшая практика - удаленное отслеживание контента (cURL, file_get_contents, cron и т.

Question

Я пытаюсь создать скрипт, который будет регистрировать данные, которые меняются каждую 1 секунду. Первоначальной мыслью было: «Просто запустите php-файл, который делает cURL каждую секунду из cron», - но у меня очень сильное чувство, что это неправильный способ сделать это.

Вот мои характеристики: В настоящее время существует 10 сайтов, с которых мне нужно собирать данные и регистрировать их в базе данных - это число будет со временем неизменно увеличиваться, поэтому решение должно быть масштабируемым. Каждый сайт имеет данные, которые он выводит на URL каждую секунду, но сохраняет только 10 строк на странице, и иногда они могут выплевывать до 10 строк каждый раз, поэтому мне нужно собирать эти данные каждую секунду, чтобы убедиться, что я получаю все данные.

Поскольку я также буду записывать эти данные в свою собственную БД, ввод / вывод будет осуществляться каждую секунду каждого дня в течение достаточно длительного времени.

За исключением магии, какой самый эффективный способ достичь этого?

это может помочь узнать, что данные, которые я получаю каждую секунду, очень малы, меньше 500 байт.

Answer 1

Самый эффективный способ - НЕ использовать cron, а вместо этого создать приложение, которое всегда работает, держит ручки curl открытыми и повторяет запрос каждую секунду.Таким образом, они будут поддерживать соединение почти всегда, а повторные запросы будут очень быстрыми.

Однако, если целевые серверы не ваши или ваши друзья, есть вероятность, что они не оценят ваше участиеим.