У меня есть кластер DCOS, работающий на GCP, как среда разработки для моего проекта. Я попытался настроить службу Kafka на это через каталог gui, и, кажется, работает нормально. Однако он показывает только одного из брокеров как активных, а не предполагаемых 3. Ошибка основного статуса Kafka:
Развертывание - ожидание ресурсов
И вкл. на вкладке «План» отображается 1 брокер как завершенный, 1 как подготовленный, а другой как ожидающий. Так было некоторое время, поэтому я предполагаю, что есть проблема, и она не просто пытается развернуться.
С точки зрения ресурсов они следующие:
1 x Bootstrap Узел - 1vCPU и 3,75 ГБ Память 1 x Главный узел - 2vCPU и 7,5 ГБ Память 2 x Частный узел - 2vCPU и 7,5 ГБ памяти 1 x Publi c Node - 2 В ЦП и 7,5 ГБ памяти
На панели мониторинга DCOS отображается только 35% загрузки ЦП и 16% памяти, Диск всего 5%.
Кафка Конфигурация выглядит следующим образом:
{
"service": {
"name": "kafka",
"user": "nobody",
"service_account": "",
"service_account_secret": "",
"virtual_network_enabled": false,
"virtual_network_name": "dcos",
"virtual_network_plugin_labels": "",
"log_level": "INFO",
"placement_constraint": "[[\"hostname\",\"MAX_PER\",\"3\"]]",
"region": "",
"deploy_strategy": "serial",
"security": {
"ssl_authentication": {
"enabled": false
},
"kerberos": {
"enabled": false,
"enabled_for_zookeeper": false,
"kdc": {},
"primary": "kafka",
"health_check_primary": "kafka-health-check-client",
"debug": false
},
"transport_encryption": {
"enabled": false,
"allow_plaintext": false,
"ciphers": "TLS_RSA_WITH_AES_128_GCM_SHA256,TLS_RSA_WITH_AES_128_CBC_SHA256,TLS_RSA_WITH_AES_256_GCM_SHA384,TLS_RSA_WITH_AES_256_CBC_SHA256,TLS_DHE_RSA_WITH_AES_128_GCM_SHA256,TLS_DHE_RSA_WITH_AES_128_CBC_SHA256,TLS_DHE_RSA_WITH_AES_256_GCM_SHA384,TLS_DHE_RSA_WITH_AES_256_CBC_SHA256,TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_RSA_WITH_AES_128_CBC_SHA256,TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384,TLS_ECDHE_RSA_WITH_AES_256_CBC_SHA384"
},
"authorization": {
"enabled": false,
"super_users": "",
"allow_everyone_if_no_acl_found": false
}
},
"jmx": {
"enabled": false
},
"readiness_check": {
"interval": 60,
"delay": 0,
"timeout": 120
},
"health_check": {
"enabled": false
},
"rlimits": {
"rlimit_nofile": {
"soft": 128000,
"hard": 128000
}
},
"check": {
"intervalSeconds": 30,
"timeoutSeconds": 20,
"delaySeconds": 15
}
},
"brokers": {
"cpus": 1,
"mem": 2048,
"heap": {
"size": 512
},
"disk": 5000,
"disk_type": "ROOT",
"disk_path": "kafka-broker-data",
"count": 3,
"port": 0,
"port_tls": 0,
"kill_grace_period": 30
},
"kafka": {
"kafka_zookeeper_uri": "",
"auto_create_topics_enable": true,
"kafka_advertise_host_ip": true,
"auto_leader_rebalance_enable": true,
"background_threads": 10,
"compression_type": "producer",
"delete_topic_enable": false,
"delete_records_purgatory_purge_interval_requests": 1,
"leader_imbalance_check_interval_seconds": 300,
"leader_imbalance_per_broker_percentage": 10,
"log_flush_interval_messages": "9223372036854775807",
"log_flush_offset_checkpoint_interval_ms": 60000,
"log_flush_scheduler_interval_ms": "9223372036854775807",
"log_flush_start_offset_checkpoint_interval_ms": 60000,
"log_retention_bytes": "-1",
"log_retention_hours": 168,
"log_roll_hours": 168,
"log_roll_jitter_hours": 0,
"log_segment_bytes": 1073741824,
"log_segment_delete_delay_ms": 60000,
"message_max_bytes": 1000012,
"min_insync_replicas": 1,
"num_io_threads": 8,
"num_network_threads": 3,
"num_recovery_threads_per_data_dir": 1,
"num_replica_fetchers": 1,
"offset_metadata_max_bytes": 4096,
"offsets_commit_required_acks": -1,
"offsets_commit_timeout_ms": 5000,
"offsets_load_buffer_size": 5242880,
"offsets_retention_check_interval_ms": 600000,
"offsets_retention_minutes": 1440,
"offsets_topic_compression_codec": 0,
"offsets_topic_num_partitions": 50,
"offsets_topic_replication_factor": 3,
"offsets_topic_segment_bytes": 104857600,
"queued_max_requests": 500,
"queued_max_request_bytes": -1,
"quota_consumer_default": "9223372036854775807",
"quota_producer_default": "9223372036854775807",
"replica_fetch_max_bytes": 1048576,
"replica_fetch_min_bytes": 1,
"replica_fetch_wait_max_ms": 500,
"replica_fetch_response_max_bytes": 10485760,
"replica_high_watermark_checkpoint_interval_ms": 5000,
"replica_lag_time_max_ms": 10000,
"replica_socket_receive_buffer_bytes": 65536,
"replica_socket_timeout_ms": 30000,
"replication_quota_window_num": 11,
"replication_quota_window_size_seconds": 1,
"request_timeout_ms": 30000,
"socket_receive_buffer_bytes": 102400,
"socket_request_max_bytes": 104857600,
"socket_send_buffer_bytes": 102400,
"unclean_leader_election_enable": false,
"zookeeper_session_timeout_ms": 6000,
"connections_max_idle_ms": 600000,
"controlled_shutdown_enable": true,
"controlled_shutdown_max_retries": 3,
"controlled_shutdown_retry_backoff_ms": 5000,
"controller_socket_timeout_ms": 30000,
"default_replication_factor": 1,
"fetch_purgatory_purge_interval_requests": 1000,
"group_max_session_timeout_ms": 300000,
"group_min_session_timeout_ms": 6000,
"group_initial_rebalance_delay_ms": 3000,
"inter_broker_protocol_version": "2.1",
"log_message_format_version": "2.1",
"log_cleaner_backoff_ms": 15000,
"log_cleaner_dedupe_buffer_size": 134217728,
"log_cleaner_delete_retention_ms": 86400000,
"log_cleaner_enable": true,
"log_cleaner_io_buffer_load_factor": 0.9,
"log_cleaner_io_buffer_size": 524288,
"log_cleaner_io_max_bytes_per_second": 1.7976931348623157e+308,
"log_cleaner_min_cleanable_ratio": 0.5,
"log_cleaner_min_compaction_lag_ms": 0,
"log_cleaner_threads": 1,
"log_cleanup_policy": "delete",
"log_index_interval_bytes": 4096,
"log_index_size_max_bytes": 10485760,
"log_preallocate": false,
"log_retention_check_interval_ms": 300000,
"max_connections": 2147483647,
"max_connections_per_ip": 2147483647,
"max_connections_per_ip_overrides": "",
"num_partitions": 1,
"producer_purgatory_purge_interval_requests": 1000,
"replica_fetch_backoff_ms": 1000,
"reserved_broker_max_id": 1000,
"kafka_metrics_reporters": "com.airbnb.kafka.kafka08.StatsdMetricsReporter",
"metric_reporters": "com.airbnb.kafka.kafka09.StatsdMetricsReporter",
"metrics_num_samples": 2,
"metrics_sample_window_ms": 30000,
"quota_window_num": 11,
"quota_window_size_seconds": 1,
"ssl_endpoint_identification_enabled": true,
"transaction_state_log_segment_bytes": 104857600,
"transaction_remove_expired_transaction_cleanup_interval_ms": 3600000,
"transaction_max_timeout_ms": 900000,
"transaction_state_log_num_partitions": 50,
"transaction_abort_timed_out_transaction_cleanup_interval_ms": 60000,
"transaction_state_log_load_buffer_size": 5242880,
"transaction_state_log_replication_factor": 3,
"transaction_state_log_min_isr": 2,
"transactional_id_expiration_ms": 604800000,
"zookeeper_sync_time_ms": 2000
}
}
Дайте мне знать, если вам нужна дополнительная информация.