Чтение матрицы с двойными значениями в файле из HDFS и преобразование ее в плотную матрицу, CSV или JSON, что является эффективным? - PullRequest
0 голосов
/ 20 сентября 2018

В моей Java-программе мне нужно загрузить матрицу в виде плотной матрицы из Hadoop, которая имеет двойные значения около 300x30 и выполняет некоторые умножения матриц.Также его значения, возможно, потребуется отредактировать из программы и сохранить в HDFS.

Я думаю о двух вариантах:

  • Сохраните матрицу в CSV и прочитайте ее ипреобразовать его в плотную матрицу, используя CSV-ридер и считывать потоковые значения синтаксического анализа в двойные числа.Редактирование матрицы выполняется с помощью CSVWriter.
  • Сохраните матрицу как объект JSON, который содержит двойные значения в списке списков или в одном списке и размер матрицы.После этого прочитайте его и проанализируйте в объектном преобразователе. Для редактирования матрицы просто обновите значение массива и запишите в формате JSON.

Может быть количество этих матриц, и в вызове покоя каждый раз, когда матрица должна быть загружена.Так что я беспокоюсь о производительности. Что является более эффективным?

...