Как починить брокера, может быть недоступно после сломанной трубы

Question

я подключаюсь к серверу через ssh, запускаю zookeper kafka и мой коннектор debezium, через некоторое время вылетает только вкладка терминала kafka со следующей ошибкой packet_write_wait: Connection to **.**.***.*** port 22: Broken pipe

и вывод моего коннектора:

>>>>[2019-07-10 10:04:49,563] WARN [Producer clientId=producer-1] >>>>Connection to node 0 (ip-***.**.**.***.eu-
>>>>west-3.compute.internal/***.**.**.***:9092) could not be established. 
>>>>Broker may not be available. 
>>>>(org.apache.kafka.clients.NetworkClient:725)

>>>>[2019-07-10 10:04:49,676] ERROR WorkerSourceTask{id=mongodb-source-
>>>>connector-0} Failed to flush, timed out while waiting for producer to 
>>>>flush outstanding 8 messages 
>>>>(org.apache.kafka.connect.runtime.WorkerSourceTask:420)

>>>>[2019-07-10 10:04:49,676] ERROR WorkerSourceTask{id=mongodb-source-
>>>>connector-0} Failed to commit offsets 
>>>>(org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter:111)

Я не хочу перезапускать вручную каждый раз, когда это происходит, как я могу это исправить, чтобы я мог только ssh один раз запустить серверы и соединитель, а затем выйти?.

Answer 1

Хорошо, что я сделал: sudo systemctl включил confluent-zookeeper sudo systemctl включил confluent-kafka sudo systemctl запустил confluent-zookeeper Я получил доступ к ошибке файла, у меня есть chmod, и теперь zookeeper работает нормально.sudo systemctl start confluent-kafka Я получил ошибку, которую все еще не могу исправить, это вывод

at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102)
at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:107)
at sun.nio.fs.UnixFileSystemProvider.newFileChannel(UnixFileSystemProvider.j
at java.nio.channels.FileChannel.open(FileChannel.java:287)
at java.nio.channels.FileChannel.open(FileChannel.java:335)
at org.apache.kafka.common.record.FileRecords.openChannel(FileRecords.java:4
at org.apache.kafka.common.record.FileRecords.open(FileRecords.java:410)
at org.apache.kafka.common.record.FileRecords.open(FileRecords.java:419)

Answer 2

Два варианта:

1. Запуск процессов как службы ( ref )
2. Используйте такой инструмент, как screen или tmux, чтобы сеанс продолжался даже после закрытия соединения.

Опция (1) - это то, как вы делаете это в производстве. Вариант (2) действительно удобен, когда вы в разработке, используете VPN, отключаете / переподключаете и т. Д., Потому что процесс не только продолжает работать, но вы также можете повторно подключиться к сеансу, как это было при отключении. Вот пример того, что это такое и как его использовать: https://www.rittmanmead.com/blog/2012/05/screen-and-obiee/