Сравнение данных между таблицей SQL и коллекцией MongoDB - AWS Glue? - PullRequest
0 голосов
/ 13 июня 2019

У меня есть таблица SQL с 1,5 миллионами строк, и я хочу сравнить ее с коллекцией MongoDB, содержащей около 350 тысяч документов. Мне нужна следующая информация:

  1. Список строк, которые есть только в таблице SQL, но отсутствуют в коллекции MongoDB.
  2. Список документов, которые есть только в коллекции MongoDB, но отсутствуют в таблице SQL.
  3. Для записей, которые находятся в обеих базах данных, список имен полей и значений полей для каждого поля, которое не совпадает.
  4. Общее количество каждого из ранее перечисленных предметов.

Для этого я написал консольное приложение на C #, которое запускаю как запланированное задание на экземпляре Windows EC2 (t2.small). Это работало нормально в начале, когда мой набор данных был маленьким. Однако теперь он вырос до такой степени, что использует около 5 ГБ памяти, что больше, чем у t2.small.

Подойдет ли для этого что-то вроде AWS Glue? Я прочитал документацию по Glue, и неясно, является ли это допустимым вариантом использования.

...