Привет, учитывая следующую структуру потока данных:
Мне нужны идеи / предложения для реализации умной архитектуры, позволяющей загружать данные из разных источников с разными структурами и разными форматами (xml, json, обычный текст), которые содержат одну и ту же деловую информацию (иногда один из источников поставляется с неверные данные, и они должны быть заменены этим фрагментом данных из другого источника), декодированы, нормализованы к общему бизнес-факту с учетом инфраструктуры облачного кода и API, который работает с сгенерированными фактами.
Я думал о чем-то, что преобразует любой формат в вид хэша (который должен храниться в виде необработанных данных) и использую своего рода реализацию стратегии, чтобы отобразить данные каждого поля в бизнес-объект и для каждой стратегии предоставить цепочку объектов ответственности, которые отвечают за санитарную обработку данных перед сохранением в объекте. Я пытаюсь найти несколько похожих ситуаций и примеров, но каждая идея фрагментирована.
Другая вещь - это контроль времени, я не нашел хорошего решения для управления временем факта (я полагаю), я думал о стратегии, основанной на поле даты и времени, но мне нужно работать с чем-то более плавным (или отсоединенным) ) потому что мы работаем с разными провайдерами, и правила могут легко измениться.
Можете ли вы, ребята, помочь мне с некоторыми советами, идеями?
Любые предложения, примеры, которые я буду рад прочитать и обсудить с более подробной информацией.