Я пытаюсь получить доступ к файлам Jupyter в кластере Google Cloud из Python.Мне понадобится пакет...
У меня есть спарк-кластер (DataProc) с мастером и 4-мя рабочими (2 предопределенных), в моем коде...
Пожалуйста, потерпите меня, потому что я все еще новичок в Spark. У меня есть кластер GCP DataProc,...
Я создал простой конвейер в Data Fusion, который читает из одной таблицы MS SQL Server и записывает...
Ежедневно выполняю задание dataproc (pyspark), уже год работает нормально. Сегодня мы получаем...
Я пытаюсь запустить свой код Beam на Spark для POC.Я запускаю приложение в Google Cloud Dataproc...
У меня проблема с пулом соединений Java BasicDataSource. Мой ProxySql правильно настроен на всех...
По той или иной причине я хочу обновить версию Apache Hive с 2.3.4 до 3 в Google Cloud Dataproc (1
Поскольку Flink поддерживает абстракцию файловой системы Hadoop и имеется GCS-соединитель -...
Я создал кластер на Dataproc, и он прекрасно работает. Однако после некоторого простоя кластера (~...
Я хочу отправить работу в Google Cloud Dataproc для региона us-east4. Я использовал следующий код,...
Я использую https://dataproc.googleapis.com/v1/projects/{projectId}/regions/{region}/clusters для...
Этот метод заменяет typsafe включающие пути к файлам в файле, размещенном в каталоге ресурсов. Он...
Может ли GCP Dataproc sqoop импортировать данные из локальной БД для помещения в GCP Storage (без...
Я тестирую группу обеспечения доступности баз данных, которая раньше работала в Google Composer без...
Когда мы реализуем озеро данных с облачным хранилищем GCP и обрабатываем данные с помощью облачных...
Для ручного создания запланированного удаления для кластера Dataproc я могу использовать следующий...
Я использую Google Dataproc вместе с Java-приложением, управляющим выделением кластеров и отправкой...
Я играю с Gcloud Composer, пытаюсь создать группу обеспечения доступности баз данных, которая...
Это уже было предметом обсуждения в предыдущем посте , однако я не убежден в ответах, поскольку...
Я пытаюсь установить переменную окружения, содержащую область кластера Dataproc.По сути, я добавляю...
Для уточнения: Обычно при написании заданий на спарк необходимо указывать конкретные значения для...
Я отправил задание Hive, используя DataprocWorkflowTemplateInstantiateInlineOperator Airflow, в...
Я отправил задание Hive с использованием шаблона рабочего процесса Dataproc с помощью оператора...
Возможно ли, чтобы Cloud Dataproc читал представления BigQuery с помощью коннектора BigQuery? Кроме...