Как делиться ресурсами (вычислительными движками) между проектами в облачной платформе Google

Question

Я пытаюсь создать прототип, где я могу делиться ресурсами между проектами для выполнения работы на облачной платформе Google

Мотивация: Допустим, есть два проекта: Проект A и Проект B. Iхотите использовать кластер dataproc, созданный в проекте A, для выполнения задания в проекте B. Проект находится в одной организации на платформе GCP.

Как мне это сделать?

Answer 1

Существует несколько способов управления ресурсами в разных проектах.Вероятно, самый простой способ сделать это:

1. Создать учетную запись службы с соответствующими разрешениями для вашего проекта (ов).
2. Настройка Воздушное соединение с созданной учетной записью службы.
3. Вы можете создать рабочие процессы, использующие это соединение, а затем указать проект при создании кластера Cloud Dataproc.

Альтернативные способы сделать это, которые приходят на ум:

1. Используйте что-то вроде BashOperator или PythonOperator для выполнения Cloud SDK команд.
2. Используйте оператор HTTP для проверки связи с конечными точками REST тех сервисов, которые вы хотите использовать

Сказав это, первый подход с использованием операторов, вероятно, является наиболее простым и рекомендуемым для этого.то, что ты хочешь.

Что касается Dataproc, то при создании задания оно будет связываться только с кластерами в пределах конкретного проекта.Невозможно создать рабочие места в одном проекте против кластеров в другом.Это связано с тем, что такие вещи, как ведение журнала, аудит и другая связанная с работой семантика, являются беспорядочными, когда кластеры живут в другом проекте.