Нужен ли мне интернет для просмотра и выборки объекта корзины в облачном хранилище Google?

Question

Я написал очень простой шаблон Nifi, который сначала перечисляет, а затем выбирает объект из корзины в Google Cloud Storage.Очевидно, что при извлечении объекта Нифи пытается загрузить объект из корзины через Интернет.Мой вопрос заключается в том, что, если я хочу загружать такой объект в другие сервисы Google Cloud, такие как Pub / Sub или Cloud Datastore, нужно ли загружать эти файлы на отдельный узел?

Почему бы мне не иметьдругой узел в Google Cloud, который может быть в той же группе IP-адресов, что и в Google Cloud Storage?Таким образом, вместо загрузки из Интернета это будет просто передача объекта из сети?

Другой вопрос, который у меня возникает: поддерживает ли Поток данных шаблоны по умолчанию для передачи файлов и объектов для контейнеров в другие службытакие как Pub / Sub подчиняются подобному принципу?Я имею в виду, используют ли они интернет-соединение для передачи объекта из корзины в Pub / Sub или же они передают объект между сетевыми узлами?

Answer 1

Переводы между сервисами Google Cloud Platform осуществляются в частной сети.Поэтому, если вы установили соответствующие правила брандмауэра , службы смогут обмениваться данными напрямую через частную сеть, поэтому нет необходимости загружать файлы.

Например, если у вас есть задание, в котором объект загружается из внешнего источника в облачное хранилище, а затем переносится из облачного хранилища в облачное хранилище данных, он использует Интернет для загрузки файла в облачное хранилище, а затемиспользуйте внутреннюю частную сеть для передачи ее в облачное хранилище данных.

Поэтому, относительно вашего второго вопроса, файлы и объекты передаются между узлами сети для заданий потока данных.

Как описано в Документация потока данных - Региональные конечные точки :

Вы можете минимизировать задержку сети и транспортные расходы сети, запустив задание Cloud Dataflow из того же региона, что и его источники и / или приемники.

---

Примечания об общих источниках заданий потока данных в облаке:

Группы хранения в облачном хранилище могут быть региональными или мультирегиональными ресурсами: при использовании регионального контейнера хранения в облачном хранилище в качестве источника Google рекомендуетчто вы выполняете операции чтения в том же регионе.