Я пытаюсь решить проблему и буду благодарен за некоторые советы.
Я создал скрипт PHP, который извлекает большое количество JSON данных из URL. Затем он просматривает эти данные и вводит их в базу данных MySQL. Я хочу использовать задание Cron, которое извлекает данные JSON каждые 2 или 3 часа и, если что-то изменилось по сравнению с данными в таблице MySQL, обновляет их. Если есть новые записи, он добавляет их.
Старая система, которую использовал друг, в основном извлекала бы все данные каждые 2/3 часа и перезаписывала старые. Это хорошо для небольших объемов данных, но кажется непрактичным записывать 10 000–20 000 строк в таблицу каждые 2/3 часа.
Каждый объект JSON имеет уникальный идентификатор - поэтому я подумал что-то вроде:
- извлечение MySQL данных таблицы в массив;
- извлечение JSON данных в массив.
- Использование уникального идентификатор для каждой записи в данных JSON для поиска по данным MySQL. Если записи не совпадают, обновите таблицу MySQL. Если запись не существует, вставьте новую строку.
Я ищу несколько советов о том, как наилучшим / наиболее эффективным и быстрым способом сделать это. Мне сказали, что я очень плох в объяснении вещей, поэтому дайте мне знать, если мне нужно добавить больше деталей.