В исследовательских целях мне нужно обработать несколько сотен гигабайт файлов CSV в базе данных SQLite для удобства доступа.
Различные файлы поступают из разных источников, и каждый из них использует один из следующих синтаксисов:
data1:data2
data1;data2
data1,data2
data1 data2
data1[tab]data2
Иногда в одном и том же файле может быть несколько синтаксисов.
То, что у меня есть сейчас, это "выполнение работы" - это комбинация cat и grepиспользуя регулярные выражения, соответствующие каждому из этих случаев.
Существует ли более эффективный способ анализа всех файлов?