C #: захват данных, отображение для пользователя, сохранение на диск, загрузка в базу данных: лучший подход

Question

У меня есть программа, которая захватывает живые данные с аппаратного обеспечения с заданным интервалом. Данные возвращаются в формате XML. Есть несколько вещей, которые я хотел бы сделать с этими данными (по порядку): -дисплей его пользователю -сохранить его на диск -в конце концов, загрузить его в базу данных

Мой текущий подход - взять XML, разобрать его в хеш-таблицу, чтобы я мог отобразить правильные значения для пользователя.

Далее я хочу сохранить XML в файл на диске. Для каждого сеанса сбора данных я планирую создать уникальный XML-файл, и я буду помещать в него все данные.

Наконец, я хотел бы проанализировать XML и загрузить его в базу данных MySQL. Данные не могут быть немедленно загружены в базу данных.

Это кажется действительно неэффективным методом решения этой проблемы, и я хотел бы получить несколько советов.

Это пустая трата пространства на жестком диске для сохранения данных в формате XML?

ЭТО неэффективно, если нужно повторно анализировать XML для записи его в базу данных?

Спасибо!

---

Для пояснения: типичный XML-ответ будет ~ 1 КБ и записывается с частотой примерно 1 ответ каждые 15-60 секунд.

Я думаю, что хочу сохранить XML как XML на диске, потому что данные очень ценны и трудны для воспроизведения (если это возможно). Спасибо!

Answer 1

Когда вы получаете новый XML-документ из источника, напрямую сохраните его на диск и проанализируйте для отображения пользователю.

С помощью фонового процесса или по инициативе пользователя прочитайте xml-файлы с диска и отправьте их на сервер на основе созданной даты (чтобы вы могли получить только самые последние) для вставки в MySql.

Answer 2

возможно, должен быть отдельный поток для извлечения и обработки данных.

Answer 3

Это в основном зависит от объема и скорости передачи данных. Если вам приходится загружать в базу данных редко и это занимает всего несколько секунд, гибкость XML, безусловно, будет полезна. Если вы никогда не используете локально хранимые данные, кроме как для их загрузки в базу данных, и анализ занимает несколько минут, возможно, вы захотите переосмыслить стратегию.