Разработчики с C #, VBA и Python хотят отправить данные в базу данных

Question

У меня есть вопрос, я так много путаю.Я недавно закончил, начал работать в компании, где много старых данных в текстовых файлах, поэтому я организовал все эти данные с помощью Python и создал файл Excel.так что для ситуации хорошо.

Проблема, для новых поступающих данных датчиков от разных разработчиков

1. Большинство парней, использующих VB-скрипты, люди тестируют данные и сохраняютданные в текстовых файлах с помощью разделителей (, и |).

2. какой-то другой парень, разрабатывающий проекты на C #, эти люди получили разные текстовые данные с разными разделителями (: и,)

Вопрос: Мне нужно настроить базу данных, как я могу автоматически перенести все эти данные разработчиков в базу данных, для этих текстовых данных я создал для них имена столбцов и структуру.

Нужно ли разрабатывать индивидуальныеинтерфейс для всех этих разработчиков или есть какой-то общий интерфейс, на котором я должен сосредоточиться или с чего начать, мне все еще не хватает.

Я надеюсь, что люди там поняли мою ситуацию.

С наилучшими пожеланиями Vinod

Answer 1

Я не знаю ситуацию в вашей компании, но PDI (инструмент интеграции данных Pentaho, хорош для преобразования данных. Community Edition бесплатен!

Однако, если вы сгенерировали их в файл Excel, Power Queryможет быть лучшим инструментом для этого проекта, если ваши данные относительно малы.

Answer 2

Вы должны рассмотреть возможность использования инструмента Power Query в Excel.Вы можете получать практически любой тип файла (включая текстовые файлы) из разных мест, легко очищать и преобразовывать данные (вы можете уменьшать их по своему усмотрению), и объем хранилища практически неограничен, в отличие от обычной электронной таблицы Excel, объем которой составляет около 1,4 миллиона.строки.

Answer 3

Поскольку вы пытаетесь получить данные из разных источников и используете SQL Server, вы можете обратиться к службам интеграции SQL Server (SSIS).В основном вы создаете пакеты служб SSIS, по одному для каждого входящего источника данных, и переносите данные в одну однородную базу данных.

Answer 4

Эти типы реализаций и шаблоны проектирования действительно зависят от вашей компании и среды разработки, в которой вы работаете.

Что касается выбора правильной базы данных, это также зависит от типа данных, скорости, объема иобщие вопросы, на которые ваша компания хотела бы ответить, используя эти данные.

Некоторые очень общие рекомендации:

1. Базы данных схем отличаются от баз данных "NoSQL"
2. Поиск в тексте отличается от поиска простых примитивных типов, и вы должны знать,что вы будете делать!
3. Если вы можете, преобразование обоих текстовых файлов сценариев VB и C # в популярные файлы структуры данных (т. е. JSON, CSV (текстовый файл с разделителями-запятыми одинаков)) может помочь вам схранение данных практически в любой базе данных.
4. Нет правильного или неправильного в реализации конкретного интерфейса для каждого поставщика данных, это зависит от поставленных на карту альтернатив и вашего стиля кодирования
5. Проконсультируйтесь с другими и готовыми практическими примерами!

Надеюсь, это полезно