Новое в стеке и, прямо скажем, программирование.Купил себе несколько книг, запланировал несколько семинаров ... Good Times.
Я начинаю новое предприятие, Клиент чувствует необходимость регистрировать данные с нескольких удаленных сайтов из существующих систем.Для удаленного сайта я планирую использовать встроенные компьютерные системы, возможно, под управлением Linux, собирая данные локально через Ethernet и Rs232 и периодически отправляя их на централизованный сервер.Чтобы ограничить стоимость автономной части, я бы сократил объем вычислений до минимума и сделал бы все это на сервере.
Пока все хорошо, я не думаю, что эта часть вызовет большую проблему,Но теперь у меня есть сервер, который загружается csv файлами каждые пару минут.CSV с каждого сайта должны быть объединены, либо для сайта или в день, либо в месяц ... В зависимости от размера базы данных, я думаю.
Это вызывает вопросы, могу ли я безопасно переместить или удалить отдельныйфайлы после их объединения ... Автоматически, без удаления каких-либо файлов, которые могли появиться во время предыдущего слияния или чего-то еще.Или игнорируя файлы из предыдущего слияния.Лучше ли хранить данные сайта отдельно, помня о том, что мне нужно было бы сослаться между ними.
План состоит в том, чтобы создать веб-портал, который фильтрует данные за каждый день сайта, отслеживая значениякак сила, например.Разделение сайтов на пользователя.У меня был некоторый опыт работы с Java ... Несколько лет назад, но я считаю, что html будет лучше подходить в качестве отраслевого стандарта.Там тоже масса вопросов, но я бы сначала сосредоточился на сборе данных, а потом забочусь о портале.
Серверное оборудование - это одно из моих препятствий. Для прототипа я уверен, что смогу работать на своемC2750 8-ядерный домашний сервер Atom для тестирования.Но я беспокоюсь о том, что как только я обработаю 50, 100, 200 сайтов, я столкнусь с огромными узкими местами, даже тогда, когда буду работать с двумя процессорами Xeon по 10 тысяч евро.Или я переоцениваю ресурсы, необходимые для объединения CSV на постоянной основе.Я планирую разместить портал на отдельном сервере.После того, как прототип окажется полезным для дальнейшего развития.
Огромный проект, крутой курс обучения наверняка, но у меня есть время.Было бы здорово получить отзывы, советы, рекомендации и опыт от вас, ребята.