Существует ли стандартный DSL для проверки целостности данных?

Question

Я сталкиваюсь с CSV-файлами, которые приходят от клиентов и могут содержать сотни тысяч строк. Существует ли DSL (или очень популярная библиотека на Java или Python), которая может эффективно выполнять вычисления для этой информации, применяя различные правила для выдачи предупреждений и ошибок (настраиваемых пользователем, конечно)?

Answer 1

Можете ли вы представить DSL, который бы это сделал? Как будут выглядеть правила?

Несколько месяцев назад я работал над такой проблемой - в конце концов, это оказалось сложнее, чем казалось вначале.

1. Первый шаг был очевиден - все строки были проанализированы и помещены в специальные структуры данных, чтобы я мог работать с ними; те, с пропущенные поля были выброшены.

2. Каждая строка имела свою текущую «стратегию» свойство и список возможных стратегии (действие по умолчанию, игнорировать, Force, Overwrite и т. Д.)

3. Сначала все ряды имели свою "стратегию" свойство установлено на «По умолчанию».

4. Процессор строк проверил, что операция была возможно создание списка ошибок и предупреждения.

5. после обработки и анализировать результаты в каждой строке вызванных проблем был дан список альтернативные стратегии пользователь может выбирать;

Таким образом, если возникнут какие-либо проблемы, пользователь может изменить стратегию строки (или просто использовать «Игнорировать») и вернуться к шагу 4.

Итак, мне интересно, на каком этапе будет работать такой DSL?