Я хотел бы услышать от сообщества хороший пример решения следующей проблемы.
У меня был сервер «все», который был веб-сервером, MySQL, сервером сканеров.Через две или три недели, используя инструменты мониторинга, я видел, что всегда, когда мои сканеры работали, средняя нагрузка превышала 5 (4-х ядерный сервер, было бы нормально иметь до 4.00 в качестве нагрузки).Итак, у меня есть другой сервер, и я хочу переместить свои сканеры туда.Мой вопросКак только данные будут просканированы на моем сервере, я должен вставить их в свою базу данных.И я не хотел бы открывать удаленное соединение и вставлять его в базу данных, так как я предпочитаю использовать инфраструктуру Rails, кстати, я использую rails, чтобы было проще создавать все отношения и т. Д.
проблема, которая должна быть решена:
сервер, имеет просканированные данные (куча CSV-файлов), и я хочу переместить их на удаленный сервер и вставить в мою базу данных с помощью rails.
ограничениеЯ не хочу запускать mysql (slave + master), так как для более глубокого анализа потребуется знать, где происходит больше операций записи.
Идеи:
переместить csvs из сканеров, чтобы удалить сервер с помощью (ssh, rsync) и импортировать его в течение дня
написать API на сервере искателя, который мой удаленный сервер может использовать (много раз в день), и импортировать данные
Любая другая идея или хорошие шаблоны для этой темы?