Существует ли прямой способ загрузки файлов на постоянный диск SSD в Google Cloud? - PullRequest
0 голосов
/ 04 мая 2018

Мой кластер Kubernetes используется для запуска моей графовой базы данных ( Dgraph ). Однако я должен загрузить исходный набор данных (1 ТБ), который поставляется в виде разных папок и файлов в Dgraph.

Я обработал данные локально и теперь могу загружать файлы на мои 6 разных постоянных дисков SSD - есть ли способ, которым я могу сделать это непосредственно на диски, или мне нужно использовать экземпляр Compute Engine и пройти через это путем монтирования дисков, а затем их размонтирования?

1 Ответ

0 голосов
/ 07 мая 2018

У меня есть одно предложение, которое может быть быстрее и проще, чем метод, который вы упомянули в посте.

Предположительно, у вас есть постоянные требования к диску, подключенные к модулям, которые будут использовать эти данные.

Например, допустим, у вас есть постоянная заявка на диск, подключенная к / mnt / data на модуле.

Возможно копировать файлы в модули, используя команду 'kubectl cp'. Я понимаю, что набор данных, который вы хотите загрузить, очень большой и заполняет стандартную файловую систему pods. Однако, если у вас есть постоянная заявка диска, подключенная к модулю, который будет содержать данные, которые используются модулем, возможно, это подключенное хранилище достаточно велико для этих данных. Поэтому вы можете попробовать использовать 'kubectl cp', чтобы скопировать данные в точку монтирования на модуле, чтобы они попали на смонтированный том.

Вы можете запустить эту команду, чтобы попробовать это:

kubectl cp datafile.csv NAMESPACE_NAME/POD_NAME:/mnt/data

Кроме этого, вы можете рассмотреть возможность загрузки данных в облачное хранилище с помощью gsutil , а затем установить предохранитель на узлах, как указано здесь , что позволит вам подключить облачное хранилище к стручки, которым нужен доступ к данным, хотя я понимаю, что это может не подходить для каждого случая использования.

...