Поддерживает ли Google Kubernetes Engine пользовательские образы узлов и / или сеть 10 Гбит / с?

Question

Мы настроили несколько частных кластеров GCP GKE, которые работают довольно хорошо. Каждый из них в настоящее время имеет один пул узлов из 2 узлов ContainerOS.

У нас также есть вычислительный механизм не-K8s, который является сервером NFS FreeBSD и настроен для работы в сети 10 Гбит / с.

Когда мы регистрируемся на узлах K8s, кажется, что они не поддерживают сеть 10 Гбит / с из коробки. Мы подозреваем это, потому что «большой прием-разгрузка», кажется, отключен в сетевых интерфейсах.

Мы создали постоянные заявки на хранение в кластерах Kubernetes для общих ресурсов этого файлового сервера, и мы бы им нравится поддерживать сеть 10 Гбит / с, но беспокоиться о том, что по умолчанию она ограничена 1 Гбит / с.

Похоже, что Google предлагает только несколько вариантов изображения своих пулов узлов (ContainerOS или Ubuntu). Это ограничено как их GCP-интерфейсом, так и командой создания кластера.

Мой вопрос таков:

• Можно ли вообще поддерживать сеть 10 Гбит / с в кластерах GCP GKE?

Любая помощь будет принята с благодарностью.

Answer 1

• Возможно ли вообще поддерживать сеть 10 Гбит / с в кластерах GCP GKE?

Да, GKE изначально поддерживает соединения 10GE вне the-box , как и Compute Engine Instances, но он не поддерживает пользовательские образы узлов.

Хороший способ проверить ограничения скорости - использовать iperf3 .

Я создал экземпляр GKE с настройками по умолчанию для проверки скорости подключения.

Я также создал виртуальную машину Compute Engine с именем Debian9-Client где будет проходить наш тест, как показано ниже:

• Сначала мы настроили нашу виртуальную машину с запущенным сервером iperf3:

❯ gcloud compute ssh debian9-client-us --zone "us-central1-a

user@debian9-client-us:~$ iperf3 -s -p 7777

-----------------------------------------------------------
Server listening on 7777
-----------------------------------------------------------

• Затем мы переходим в нашу GKE для запуска теста с POD:

❯ k get nodes
NAME                                 STATUS   ROLES    AGE   VERSION
gke-cluster-1-pool-1-4776b3eb-16t7   Ready    <none>   16m   v1.15.7-gke.23
gke-cluster-1-pool-1-4776b3eb-mp84   Ready    <none>   16m   v1.15.7-gke.23

❯ kubectl run -i --tty --image ubuntu test-shell -- /bin/bash

root@test-shell-845c969686-6h4nl:/# apt update && apt install iperf3 -y

root@test-shell-845c969686-6h4nl:/# iperf3 -c 10.128.0.5 -p 7777

Connecting to host 10.128.0.5, port 7777
[  4] local 10.8.0.6 port 60946 connected to 10.128.0.5 port 7777
[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
[  4]   0.00-1.00   sec   661 MBytes  5.54 Gbits/sec  5273    346 KBytes       
[  4]   1.00-2.00   sec  1.01 GBytes  8.66 Gbits/sec  8159    290 KBytes       
[  4]   2.00-3.00   sec  1.08 GBytes  9.31 Gbits/sec  6381    158 KBytes       
[  4]   3.00-4.00   sec  1.00 GBytes  8.62 Gbits/sec  9662    148 KBytes       
[  4]   4.00-5.00   sec  1.08 GBytes  9.27 Gbits/sec  8892    286 KBytes       
[  4]   5.00-6.00   sec  1.11 GBytes  9.51 Gbits/sec  6136    532 KBytes       
[  4]   6.00-7.00   sec  1.09 GBytes  9.32 Gbits/sec  7150    755 KBytes       
[  4]   7.00-8.00   sec   883 MBytes  7.40 Gbits/sec  6973    177 KBytes       
[  4]   8.00-9.00   sec  1.04 GBytes  8.90 Gbits/sec  9104    212 KBytes       
[  4]   9.00-10.00  sec  1.08 GBytes  9.29 Gbits/sec  4993    594 KBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Retr
[  4]   0.00-10.00  sec  9.99 GBytes  8.58 Gbits/sec  72723             sender
[  4]   0.00-10.00  sec  9.99 GBytes  8.58 Gbits/sec                  receiver

iperf Done.

Средняя скорость передачи составила 8,58 Гбит / с c в этом тесте, что доказывает, что узел кластера по умолчанию работает со скоростью 10 Гбит / с. rnet.

Если я могу вам помочь далее, просто дайте мне знать в комментариях.