Мы создали Crawler с использованием GuzzleHTTP и других связанных библиотек, размещенных на серверах AWS, который сканирует и предоставляет нам около 5000 продуктов только с одного сайта, и у нас всего 4 сайта, поэтому количество элементов достигает примерно 15 000+.
Теперь Crawler работает нормально, и мы можем сканировать весь сайт менее чем за час и создавать файлы JSON.
Затем мы экспортируем данные из этих файлов JSON в базу данных WordPress с элементамибыть сообщением и любыми дополнительными данными в виде post_meta, а также терминами и таксономиями.Мы делаем это прямо сейчас, используя перехватчики и фильтры WP Ajax и цикл (ofcourse).
Но экспорт занимает очень много времени, и вероятность того, что сервер выдаст тайм-аут, очень высока, чтоКак обычно, серверы Apache не предназначены для такой нагрузки.
Нам нужно знать, как это можно сделать наилучшим образом.
Создаем ли мы БД насам AWS и как-то подключить его к WordPress?Если да, то как мы будем управлять отношениями между пользовательскими публикациями, их мета и терминами.Как будто мы добавляем данные на сервер, на котором размещен WordPress, мы можем использовать функции WordPress для создания постов и соответствующего связывания данных.
Запускаем ли мы CRON Job на стороне сервера WordPressи дать больше мощности серверу, чтобы не было проблемы с тайм-аутом.Мы на серверах Site Ground.
Или это лучший способ сделать это?
Любая помощь будет признательна.
Спасибо!