Взгляните на интеграцию данных Pentaho.Он основан на Java, многопоточный и может справляться с большими CSV-файлами со скоростью более 100 тыс. Строк в секунду.
Вы можете вызывать его из командной строки в Linux или Windows, а также можете параметризовать задания и преобразования, чтобы получить параметры командной строки для таких вещей, как пути к файлам, подключения к БД и т. Д.
Есть платная версия Enterprise Edition, но также и бесплатная версия с открытым исходным кодом для сообщества.
См. Community.pentaho.com.
Осторожно: крутая кривая обучения.Кричите, если вам нужны дополнительные указатели.