Проблема с созданием конвейера данных с SQL Server на BigQuery с использованием облачного объединения данных

Question

Я пытаюсь создать конвейер данных от "SQL SERVER (от виртуальной машины GCP)" до "BigQuery" с помощью CLOUD DATA FUSION; Я выполнил все приведенные ниже настройки конфигурации,

1. Создан новый экземпляр в облачном хранилище данных.
2. Добавлен в качестве учетной записи службы в IAM & Admin.
3. Установил драйвер JDB C в SQL Серверный плагин
4. Создайте обработчик и прочитайте данные с SQL сервера, используя этот SQL Серверный плагин (на этом этапе я могу успешно аутентифицировать мой SQL сервер и я могу видеть в нем свои SQL данные таблицы)
5. Я завершил настройку pipleine, добавив Bigquery в качестве приемника.

И я попробую запустить конвейер и он завершится с несколькими ошибками; Я пробовал несколько поисков в Google, но я не получил ответ.

Мне удалось создать конвейер объединения данных между «GCS To BigQuery», и он работал нормально. но этот конвейер "SQL сервер к большому запросу" показывает некоторую ошибку.

Может ли кто-нибудь помочь мне в этом?

Вот подробности ошибки,

2020-01-10 13: 00: 47,528 - ПРЕДУПРЕЖДЕНИЕ [Thread-95: ом LocalJobRunner@589] - job_local976595976_0001 java .lang.Exception: java .lang.NullPointerException в организации. apache .had oop .mapred.LocalJobRunner $ Job.runTasks (LocalJobRunner. java: 491) ~ [had oop -mapreduce-client-common-2.9.2.jar: na] в орг. apache .had oop .mapred.LocalJobRunner $ Job.run (LocalJobRunner. java: 551) ~ [имел oop -mapreduce-client-common-2.9.2.jar: na] java .lang. NullPointerException: null в org. apache .had oop .mapreduce.lib.db.DataDrivenDBInputFormat.createDBRecordReader (DataDrivenDBInputFormat. java: 281) ~ [had oop -mapreduce-client-core -9. 2. jar: na] at io.cdap.plugin.db.batch.source.DataDrivenETLDBInputFormat.createDBRecordReader (DataDrivenETLDBInputFormat. java: 124) ~ [1578661227434-0 /: na] в орг. apache .had oop. mapreduce.lib.db.DBInputFormat.cre ateRecordReader (DBInputFormat. java: 245) ~ [имел oop -mapreduce-client-core-2.9.2.jar: na] в io.cdap.cdap.etl.batch.preview.LimitingInputFormat.createRecordReader (LimitingInputFormat. java: 51) ~ [cdap-etl-core-6.1.0.jar: na] на io.cdap.cdap.internal.app.runtime.batch.dataset.input.MultiInputFormat.createRecordReader (MultiInputFormat. java : 92) ~ [na: na] в орг. apache .had oop .mapred.MapTask $ NewTrackingRecordReader. (MapTask. java: 521) ~ [имел oop -mapreduce-client-core-2.9 .2.jar: na] at org. apache .had oop .mapred.MapTask.runNewMapper (MapTask. java: 764) ~ [имел oop -mapreduce-client-core-2.9.2. jar: na] at org. apache .had oop .mapred.MapTask.run (MapTask. java: 341) ~ [had oop -mapreduce-client-core-2.9.2.jar: na ] at org. apache .had oop .mapred.LocalJobRunner $ Job $ MapTaskRunnable.run (LocalJobRunner. java: 270) ~ [имел oop -mapreduce-client-common-2.9.2.jar: нет] в java .util.concurrent.Executors $ RunnableAdapter.call (Executors. java: 511) ~ [na: 1.8.0_232] в java .util.concurrent.FutureTask.run ( FutureTask. java: 266) ~ [na: 1.8.0_232] в java .util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor. java: 1149) ~ [na: 1.8.0_232] в java. util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor. java: 624) ~ [na: 1.8.0_232] в java .lang.Thread.run (Тема. java: 748) ~ [na: 1.8 .0_232] 2020-01-10 13: 00: 50,841 - ОШИБКА [MapReduceRunner-phase-1: i. c. c .iar ProgramControllerServiceAdapter@97] - Ошибка программы MapReduce 'phase-1'. java .lang.IllegalStateException: MapReduce JobId job_local976595976_0001 не удалось в com.google.common.base.Preconditions.checkState (Предварительные условия. java: 176) ~ [com.google.guava.guava-13.0.1. jar: na] at io.cdap.cdap.internal.app.runtime.batch.MapReduceRuntimeService.run (MapReduceRuntimeService. java: 416) ~ [na: na] в com.google.common.util.concurrent.AbstractExecutionThreadSerer $ 1.run (AbstractExecutionThreadService. java: 52) ~ [com.google.guava.guava-13.0.1.jar: na] в io.cdap.cdap.internal.app.runtime.batch. MapReduceRuntimeService $ 2 $ 1.run (MapReduceRuntimeService. java: 450) [na: na] в java .lang.Thread.run (Тема. java: 748) [na: 1.8.0_232] 2020- 01-10 13: 00: 50,842 - ОШИБКА [MapReduceRunner-phase-1: i. c. c .iar ProgramControllerServiceAdapter@98] - Ошибка программы MapReduce 'phase-1' с ошибкой: ошибка MapReduce JobId job_local976595976_0001. Пожалуйста, проверьте системные журналы для более подробной информации. java .lang.IllegalStateException: MapReduce JobId job_local976595976_0001 не удалось в com.google.common.base.Preconditions.checkState (Предварительные условия. java: 176) ~ [com.google .guava.guava-13.0.1.jar: na] в io.cdap.cdap.internal.app.runtime.batch.MapReduceRuntimeService.run (MapReduceRuntimeService. java: 416) ~ [na: na] в com.google .common.util.concurrent.AbstractExecutionThreadService $ 1 $ 1.run (AbstractExecutionThreadService. java: 52) ~ [com.google.guava.guava-13.0.1.jar: na] в io.cdap.cdap.internal.app. runtime.batch.MapReduceRuntimeService $ 2 $ 1.run (MapReduceRuntimeService. java: 450) [na: na] в java .lang.Thread.run (поток. java: 748) [na: 1.8.0_232] 2020-01-10 13: 00: 50,916 - ОШИБКА [WorkflowDriver: i. c. c .d. SmartWorkflow@552] - Ошибка конвейера '0f084034-33a9-11ea-95f6-8e2648ebe039'. 2020-01-10 13: 00: 51,225 - ОШИБКА [WorkflowDriver: i. c. c .iarw WorkflowProgramController@89] - Служба рабочего процесса 'workflow.default.0f084034-33a9-11ea-95f6- 8e2648eb e039.DataPipelineWorkflow.20288f05-33a9-11ea-a505-8e2648ebe039 'не удалось. java .lang.IllegalStateException: сбой MapReduce JobId job_local976595976_0001 в com.google.common.base.Predition20 176) ~ [com.google.guava.guava-13.0.1.jar: na] в io.cdap.cdap.internal.app.runtime.batch.MapReduceRuntimeService.run (MapReduceRuntimeService. java: 416) ~ [нет : na] at com.google.common.util.concurrent.AbstractExecutionThreadService $ 1 $ 1.run (AbstractExecutionThreadService. java: 52) ~ [com.google.guava.guava-13.0.1.jar: na] в io.cdap .cdap.internal.app.runtime.batch.MapReduceRuntimeService $ 2 $ 1.run (MapReduceRuntimeService. java: 450) ~ [na: na] в java .lang.Thread.run (поток. java: 748) [na: 1.8.0_232]

Answer 1

ОБНОВЛЕНИЕ: https://issues.cask.co/browse/CDAP-16453 Это известная проблема, исправленная в 6.1.2

"Та же ошибка на MySQL 5.x Достаточно странно, если вы развернете конвейер и запустите это работает ... Я думаю о разъединении конвейеров, чтобы иметь маленький sql -хранилище и большой конвейер в исходящем потоке "

относительно Вирджилио

Answer 2

Согласно сообщениям о проблемах, о которых вы сообщали, у вас сохраняется ошибка java .lang.nullpointerexception , которая может отражать использование нулевого значения, когда объект требуется в пути выполнения приложения.

Если предположить, что вы успешно настроили JDB C драйвер , я бы порекомендовал проверить исходные свойства базы данных в вашем конвейере, чтобы определить неопределенное поле, предположительно может быть Import Query поле свойства, которое используется для импорта данных из указанной таблицы путем предоставления SELECT запроса с соответствующим $CONDITIONS, если число создаваемых разбиений превышает 1:

SELECT * FROM <table> WHERE $CONDITIONS