Входящие данные мэйнфрейма IMS в Hadoop

Question

Я пытаюсь вставить данные мэйнфрейма IMS в oop. Хотелось бы узнать, есть ли возможность через любое из следующих заданий: а) Apache Spark или MapReduce. b) Любые другие инструменты / технологии.

Основная цель заключается в том, что мы хотели бы получать данные мэйнфрейма IMS на ежедневной / еженедельной основе, которые будут запускаться по расписанию

Answer 1

Ваш предпочтительный выбор (a), Apache Spark, доступен для z / OS. В полностью коммерчески поддерживаемой форме он называется IBM Open Data Analytics для z / OS, иногда сокращенно называемый IzODA. IzODA определенно поддерживает прямой доступ к данным IMS, но с гораздо лучшей производительностью, чем удаленный доступ к IMS. Номер программы IBM IzODA - 5655-OD1, и IBM предлагает облачную пробную версию, чтобы вы могли увидеть, как она работает.

Answer 2

Поскольку мэйнфрейм IMS имеет разъем JDB C доступен https://www.ibm.com/support/knowledgecenter/en/SSEPH2_13.1.0/com.ibm.ims13.doc.apg/ims_odbjdbcintro.htm с использованием Sq oop, это будет хорошей отправной точкой. (определенно не профессионал IMS, просто читающий документы)

С sq oop вы будете записывать данные на имел oop hdfs , а затем сможете работать с этим на наборах данных Spark. Sq oop позволяет вам делать полный импорт или дельта один. С моей точки зрения, я рекомендую рекомендовать использовать sq oop 1 вместо версии 2. С заданием Cron по расписанию вы будете работать так, как вам хочется.