У меня есть база данных MySQL, развернутая в экземпляре Google Compute Engine, и я пытаюсь переместить данные в Big Query для анализа. Я пытаюсь заставить это работать с Google Data Fusion, но у меня возникает следующая ошибка:
java.lang.RuntimeException: java.lang.RuntimeException: com.mysql.cj.jdbc.exceptions.CommunicationsException: Communications link failure
The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.
at org.apache.hadoop.mapreduce.lib.db.DBInputFormat.setConf(DBInputFormat.java:171) ~[hadoop-mapreduce-client-core-2.9.2.jar:na]
at org.apache.spark.rdd.NewHadoopRDD.getPartitions(NewHadoopRDD.scala:124) ~[spark-core_2.11-2.3.4.jar:2.3.4]
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:253) ~[spark-core_2.11-2.3.4.jar:2.3.4]
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:251) ~[spark-core_2.11-2.3.4.jar:2.3.4]
at scala.Option.getOrElse(Option.scala:121) ~[scala-library-2.11.8.jar:na]
at org.apache.spark.rdd.RDD.partitions(RDD.scala:251) [spark-core_2.11-2.3.4.jar:2.3.4]
at io.cdap.cdap.app.runtime.spark.data.DatasetRDD.getPartitions(DatasetRDD.scala:61) ~[na:na]
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:253) ~[spark-core_2.11-2.3.4.jar:2.3.4]
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:251) ~[spark-core_2.11-2.3.4.jar:2.3.4]
at scala.Option.getOrElse(Option.scala:121) ~[scala-library-2.11.8.jar:na]
at org.apache.spark.rdd.RDD.partitions(RDD.scala:251) [spark-core_2.11-2.3.4.jar:2.3.4]
at org.apache.spark.rdd.UnionRDD$$anonfun$1.apply(UnionRDD.scala:84) ~[spark-core_2.11-2.3.4.jar:2.3.4]
at org.apache.spark.rdd.UnionRDD$$anonfun$1.apply(UnionRDD.scala:84) ~[spark-core_2.11-2.3.4.jar:2.3.4]
Сама ошибка достаточно проста. Cloud Data Fusion не подключается к моему экземпляру MySQL. Вопрос в том, как это решить? Мне действительно нужно настраивать какой-то VP C, даже если все ресурсы находятся в одном проекте Google? Как я могу увидеть сетевую среду моего кластера / среды Google Cloud Fusion, чтобы убедиться, что правильные порты открыты, et c.? Я ввел строку подключения JDB C во внешний клиент jdb c и могу получить доступ к своей базе данных через IP-адрес publi c, поэтому я знаю, что это работает.