Почему импорт orientdb oetl дает мне эту ошибку - PullRequest
Новая
       8

Почему импорт orientdb oetl дает мне эту ошибку

0 голосов
/ 22 мая 2019

Я пытаюсь импортировать файл csv в orientdb 3.0. Я создал и протестировал файл json, и он работает с меньшим набором данных. Но набор данных, который я хочу импортировать, составляет около миллиарда строк (шесть столбцов)

Ниже приведен файл user.json, который я использую для импорта с помощью oetl 

{
    "source": { "file": { "path": "d1.csv" } },
    "extractor": { "csv": {} },
    "transformers": [
      { "vertex": { "class": "User" } }
    ],
    "loader": {
      "orientdb": {
         "dbURL": "plocal:/databases/magriwebdoc",
         "dbType": "graph",
         "classes": [
           {"name": "User", "extends": "V"}
         ], "indexes": [
           {"class":"User", "fields":["id:string"], "type":"UNIQUE" }
         ]
      }
    }
  }

Это вывод консоли из команды oetl: 

2019-05-22 14:31:15:484 INFO  Windows OS is detected, 262144 limit of open files will be set for the disk cache. [ONative]
2019-05-22 14:31:15:647 INFO  8261029888 B/7878 MB/7 GB of physical memory were detected on machine [ONative]
2019-05-22 14:31:15:647 INFO  Detected memory limit for current process is 8261029888 B/7878 MB/7 GB [ONative]
2019-05-22 14:31:15:649 INFO  JVM can use maximum 455MB of heap memory [OMemoryAndLocalPaginatedEnginesInitializer]
2019-05-22 14:31:15:649 INFO  Because OrientDB is running outside a container 12% of memory will be left unallocated according to the setting 'memory.leftToOS' not taking into account heap memory [OMemoryAndLocalPaginatedEnginesInitializer]
2019-05-22 14:31:15:650 INFO  OrientDB auto-config DISKCACHE=6,477MB (heap=455MB os=7,878MB) [orientechnologies]
2019-05-22 14:31:15:652 INFO  System is started under an effective user : `lenovo` [OEngineLocalPaginated]
2019-05-22 14:31:15:670 INFO  WAL maximum segment size is set to 6,144 MB [OrientDBEmbedded]
2019-05-22 14:31:15:701 INFO  BEGIN ETL PROCESSOR [OETLProcessor]
2019-05-22 14:31:15:703 INFO  [file] Reading from file d1.csv with encoding UTF-8 [OETLFileSource]
2019-05-22 14:31:15:703 INFO  Started execution with 1 worker threads [OETLProcessor]
2019-05-22 14:31:16:008 INFO  Page size for WAL located in D:\databases\magriwebdoc is set to 4096 bytes. [OCASDiskWriteAheadLog]
2019-05-22 14:31:16:703 INFO  + extracted 0 rows (0 rows/sec) - 0 rows -> loaded 0 vertices (0 vertices/sec) Total time: 1001ms [0 warnings, 0 errors] [OETLProcessor]
2019-05-22 14:31:16:770 INFO  Storage 'plocal:D:\databases/magriwebdoc' is opened under OrientDB distribution : 3.0.18 - Veloce (build 747595e790a081371496f3bb9c57cec395644d82, branch 3.0.x) [OLocalPaginatedStorage]
2019-05-22 14:31:17:703 INFO  + extracted 0 rows (0 rows/sec) - 0 rows -> loaded 0 vertices (0 vertices/sec) Total time: 2001ms [0 warnings, 0 errors] [OETLProcessor]
2019-05-22 14:31:17:954 SEVER ETL process has problem:  [OETLProcessor]
2019-05-22 14:31:17:956 INFO  END ETL PROCESSOR [OETLProcessor]
2019-05-22 14:31:17:957 INFO  + extracted 0 rows (0 rows/sec) - 0 rows -> loaded 0 vertices (0 vertices/sec) Total time: 2255ms [0 warnings, 0 errors] [OETLProcessor]D:\orientserver\bin>

Я знаю, что код правильный, но я предполагаю, что это больше проблема с памятью!

Пожалуйста, посоветуйте, что мне делать.

1 Ответ

0 голосов
/ 28 мая 2019

Вы пытались улучшить настройки памяти в соответствии с размером данных, которые вы хотите обработать?

Из документации вы можете настроить следующие свойства:

Возможно, может помочь вам

...