Сравните данные листа Excel с соответствующими данными в neo4j

Question

Мы перенесли данные из РСУБД в NEO4J в формате Excel.У нас есть около 100000 записей в таблице Excel. Используя эту таблицу Excel, мы создали данные в neo4j.Теперь мы хотим сравнить данные Excel с данными узлов в neo4j.

В листе Excel есть несколько полей, которые дублируют друг друга, что означает, что определенное значение поля используется несколько раз, но в neo4j это всего 1 раз.(Использование слияния)

Есть ли способ сравнить и проверить этот большой объем данных.Итак, мы можем знать, что не потеряли никаких данных.

Answer 1

Я не думаю, что есть конкретный общий ответ (например, инструмент, который сделает это за вас), поскольку он должен будет зависеть от знания структуры данных электронной таблицы, модели данных neo4j и того, как вы хотите два, чтобы соответствовать.

Но, возможно, вы можете проверить работоспособность, извлекая из таблицы информацию о:

• сколько узлов (каждой метки) вы ожидаете
• сколько отношений (каждого типа) вы ожидаете

и сравнение с тем, что на самом деле содержит БД neo4j. Если числа точно совпадают, то вы можете быть уверены, что ваши данные не повреждены. Вы также можете провести выборочную проверку нескольких узлов, чтобы увидеть, имеют ли они ожидаемые отношения, и проверить, имеют ли эти узлы и отношения правильные данные.

Чтобы получить количество узлов каждой метки и отношения каждого типа, вы можете использовать процедуру APOC apoc.meta.stats :

CALL apoc.meta.stats() YIELD labels, relTypesCount
RETURN *

Вот пример результата:

╒══════════════════════════════════════╤══════════════════════════════════════╕
│"labels"                              │"relTypesCount"                       │
╞══════════════════════════════════════╪══════════════════════════════════════╡
│{"Movie":76,"Class":2,"Partner":1,"Con│{"ACTED_IN":344,"REVIEWED":18,"WROTE":│
│tract":2,"Person":275,"Claim":2}      │20,"PRODUCED":30,"CLAIMANT":2,"FOLLOWS│
│                                      │":6,"DIRECTED":88,"POLICY_HOLER":2}   │
└──────────────────────────────────────┴──────────────────────────────────────┘

Я выбрал YIELD 2 результатов этой процедуры; Вы можете посмотреть на других, чтобы узнать, какие дополнительные проверки вы хотите сделать.