Я получил ниже журнал ошибок при отправке задания pyspark dataproc на создание рекомендаций.
18/09/15 06:11:36
ИНФОРМАЦИЯ org.spark_project.jetty.server.Server: jetty-9.3.z-SNAPSHOT
18.09.15 06:11:36
org.spark_project.jetty.server.Server: запущен при 3317 мс
18.09.15, 06:11:37 ИНФОРМАЦИЯ org.spark_project.jetty.server.AbstractConnector:
StartedServerConnector @ 6322b8bd {HTTP / 1.1, [HTTP / 1.1]} {} 0.0.0.0:4040
18.09.15 06:11:37 ИНФОРМАЦИЯ
com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystemBase: версия GHFS:
1.6.8-hadoop218 / 09/15 06:11:38
ИНФОРМАЦИЯ org.apache.hadoop.yarn.client.RMProxy:
Соединение с ResourceManager в cluster-d21a-m / 10.128.0.4: 8032
18.09.15 06:11:41
ИНФОРМАЦИЯ org.apache.hadoop.yarn.client.api.impl.YarnClientImpl: отправлено
application application_1536988234373_0004 18.09.15 06:11:46
ПРЕДУПРЕЖДЕНИЕ org.apache.spark.SparkContext: Spark не работает в локальном режиме,
поэтому каталог контрольных точек не должен находиться в локальной файловой системе.
Директория 'checkpoint /' находится в локальной файловой системе.
Traceback (последний вызов был последним): Файл "/ tmp / job-
614e830d / train_and_apply.py ", строка 50, в
model = ALS.train (dfRates.rdd, 20, 20) # вы можете настроить эти числа,
но это разумный выбор File
"/Usr/lib/spark/python/lib/pyspark.zip/pyspark/mllib/recommendation.py",
линия 272, в поезде
файл
"/Usr/lib/spark/python/lib/pyspark.zip/pyspark/mllib/recommendation.py",
строка 229,
in_prepareFile "/usr/lib/spark/python/lib/pyspark.zip/pyspark/rdd.py",
строка 1364, в firstValueError: СДР пуст / 09/15 06:11:53 ИНФОРМАЦИЯ
org.spark_project.jetty.server.AbstractConnector:
Остановленная Spark @ 6322b8bd {HTTP / 1.1, [http / 1.1]} {0.0.0.0:4040goti`
Есть предложения?