Создание края ArangoDB Parent to Child на существующих документах на 1 миллион для вложенных уровней не работает / или SLOW - PullRequest
Новая
       92

Создание края ArangoDB Parent to Child на существующих документах на 1 миллион для вложенных уровней не работает / или SLOW

0 голосов
/ 16 января 2020

Создан events документ в ArangoDB. Загружено 1 миллион записей, как показано ниже, которые завершаются за 40 секунд. 

FOR I IN 1..1000000
INSERT {
    "source": "ABC",
    "target": "ABC",
    "type": "REST",
    "attributes" : { "MyAtrib" : TO_STRING(I)},
    "mynum" : I
} INTO events

Таким образом, запись 1 является родительской, а 2 - дочерней по отношению к 1 et c. 1 --> 2 --> 3 --> 4 --> ...1000000

Создала пустую коллекцию Edge ChildEvents и попыталась установить sh отношения родительских и дочерних ребер с помощью приведенного ниже запроса, но она никогда не завершается (создал индекс ha sh для mynum, но не повезло) 

FOR p IN events
   FOR c IN events
        FILTER p.mynum == ( c.mynum + 1 )
            INSERT { _from: p._id, _to: c._id}  INTO ChildEvents

Любая помощь будет принята с благодарностью.

1 Ответ

2 голосов
/ 17 января 2020

Создание документов мероприятия заняло около 50 секунд в моей системе. Я добавил индекс для mynum в коллекцию events и выполнил ваш второй запрос (с добавлением RETURN NEW в конце), и потребовалось примерно 70 секунд для обработки краев (плюс некоторое время для рендеринга подмножества их):

1m edges written in 69 seconds

Я использовал ArangoDB 3.6.0 с двигателем RocksDB под Windows 10, Intel i7-6700K 4x4.0 ГГц, 32 ГБ ОЗУ, Samsung Evo 850 SSD.

Вы уверены, что индекс настроен правильно? Объясните запрос и проверьте план выполнения, может, у вас что-то другое? 

Execution plan:
 Id   NodeType                     Est.   Comment
  1   SingletonNode                   1   * ROOT
  3   EnumerateCollectionNode   1000000     - FOR c IN events   /* full collection scan, projections: `mynum`, `_id` */
  9   IndexNode                 1000000       - FOR p IN events   /* persistent index scan, projections: `_id` */
  6   CalculationNode           1000000         - LET #5 = { "_from" : p.`_id`, "_to" : c.`_id` }   /* simple expression */   /* collections used: p : events, c : events */
  7   InsertNode                1000000         - INSERT #5 IN ChildEvents 
  8   ReturnNode                1000000         - RETURN $NEW

Indexes used:
 By   Name                      Type         Collection   Unique   Sparse   Selectivity   Fields        Ranges
  9   idx_1655926293788622848   persistent   events       true     false       100.00 %   [ `mynum` ]   (p.`mynum` == (c.`mynum` + 1))

Optimization rules applied:
 Id   RuleName
  1   move-calculations-up
  2   move-filters-up
  3   interchange-adjacent-enumerations
  4   move-calculations-up-2
  5   move-filters-up-2
  6   remove-data-modification-out-variables
  7   use-indexes
  8   remove-filter-covered-by-index
  9   remove-unnecessary-calculations-2
 10   reduce-extraction-to-projection
...