Подход к ускорению обработки больших файлов - PullRequest
0 голосов
/ 29 января 2020

У меня есть приложение весенней загрузки, которое предоставляет REST API, который принимает данные из нескольких частей в качестве входных данных. Файл в формате CSV. Мне нужно проанализировать файл CSV и извлечь уникальные столбцы из этого файла.

Мне нужно ускорить обработку. Я изучал следующие способы сделать это

  1. Файловый канал (функция карты), используя несколько потоков в java
  2. ArrayBlockingQ в java
  3. Eventstream в node js

Но я не мог закончить с подходом. Кто-нибудь может направить меня к лучшему способу справиться с этим? Есть ли лучший способ сделать это?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...