преобразование плоских файлов из одного формата в другой - инструменты / реализация картографа

Question

Это довольно широкая тема, и я провел много исследований по stackoverflow и общему Google, но не получил хорошего ответа. Может быть потому, что наш проект немного уникален (конечно, не сильно отличается).

У нас есть веб-продукт, который принимает полностью CSV-файл как импорт некоторых бизнес-данных. Это как несколько разделов данных.

Пример

ParentRow
.........Single row with 10-15 columns
EndParentRow
ChildRows
.........Multiple child rows with 10-15 columns
EndChildRows
............
............

выше, продолжайте несколько раз в зависимости от количества родителей

У нас есть 2 основные проблемы:

1. У нас есть 25-30 клиентов, которые используют вышеуказанный продукт и должны ежемесячно загружать вышеуказанный файл CSV. Они жалуются на наш формат файла, что он ошеломляющий (и я полностью согласен, он был разработан бывшим архитектором).

2. Все 25-30 клиентов получают данные в своем формате из другой системы (все они имеют разные форматы). Разница между разными именами столбцов, двумерными данными по сравнению с нашей многократной таблицей в одном и том же формате файлов, разными значениями данных (которые соответствуют / соответствуют определенным значениям в нашей системе).

Учитывая, что время и деньги являются серьезным препятствием, мы не можем реализовать картографическое решение, отвечающее потребностям каждого.

Мы должны найти креативное решение, чтобы решить эту проблему. Одно из направлений, которое мы хотим изучить на данный момент, - это использование какого-либо стандартного инструмента картографического преобразования для преобразования данного формата CSV в наш формат CSV. Идея заключается в том, что клиент купит этот продукт «из коробки» и однажды окажет ему услугу, сопоставив файлы, а затем сможет работать с ним, если не потребуется изменить какое-либо сопоставление.

Учитывая это, мое исследование пока не дало хороших результатов. Единственный перспективный инструмент, с которым я столкнулся, - это Altova Mapforce. Это кажется чрезмерным со временем и кажется немного сложным, если учесть, что наши клиенты не являются опытными техническими пользователями.

Любая помощь, идеи или предложения по этому вопросу высоко ценятся. Я знаю, что не полностью объяснил формулировку проблемы, поэтому буду более чем рад ответить на вопрос, чтобы лучше определить требования.

Answer 1

Посмотрите на инструмент Pentaho PDI.Это открытый исходный код, и он сможет сделать это легко.Если вы действительно хотите, вы можете удалить все необходимые плагины и уменьшить их или даже встроить в свое Java-приложение.