SCDF Локальный сервер потока данных - PullRequest
0 голосов
/ 08 сентября 2018

Чтобы оценить SCDF, мы экспериментировали с режимом локального сервера, и в документации говорится, что это только для разработки, не знаю, что это значит. Вопрос: Но для производственных развертываний SCDF поставляется только с целевой средой исполнения kubernetes, apache yarn или cloud Foundry. У нас нет ни одной из этих текущих сред выполнения. Мы разворачиваем микросервисы с использованием ansible и имеем собственные скрипты для управления нашей инфраструктурой и микросервисами.

Например, невозможно изменить doml-compose yml так, чтобы он указывал на кластеризованную кафку, но не уверен, что сам сервер потоков данных должен быть кластеризован или распределен (чтобы смягчить единственную точку отказа), может иметь более одной информации серверные процессы потока, работающие за балансировщиком нагрузки.

Просьба сообщить, применим ли режим локального сервера данных для производственных нагрузок. Или то, что облачный литейный или kubernetes версия SCDF предоставляет дополнительные по сравнению с локальным сервером данных.

1 Ответ

0 голосов
/ 08 сентября 2018

Платформа (т. Е. Cf, k8s, ..) - это требование для надежной работы приложений потока / задач и автоматического обеспечения устойчивости при возникновении сбоя приложений по любой причине. Платформа вернет его обратно без какого-либо ручного вмешательства. Кроме того, платформа может обеспечивать сквозную безопасность, ведение журналов, метрики, возможности автоматического масштабирования, планировщик заданий и многое другое. SCDF полагается и передает его платформе, чтобы воспользоваться этими дополнительными преимуществами.

Например, чтобы запланировать задачу / пакетное задание с выражением cron в PCF, вы должны использовать PCF Scheduler , и у нас есть встроенная интеграция для него из SCDF Dashboard, Это не будет доступно на Локальном сервере.

Похоже, у вас есть собственная платформа, похожая на платформу, которая обеспечивает приложениям HA, FT и уровень обслуживания. За это время вы можете поставить под сомнение усилия по НИОКР, но это совсем другая тема. Речь идет о выборе платформы против DIY, который я пропущу в этом ответе.

Вернемся к вашему вопросу сейчас.

Вы можете избежать SPOF для локального сервера, имея несколько экземпляров и балансировщик нагрузки впереди. Вам просто нужно иметь в виду, что нет никакой автоматизации, которая позволяла бы восстанавливать эти экземпляры и работать при сбоях. Возможно, у вас есть что-то на вашей DIY-платформе для решения этой проблемы.

И, да, вы можете настроить шаблон docker-compose, чтобы подключить к нему все, что захотите. В конце концов, это поможет предоставить соответствующие компоненты, чтобы затем создать определения потоков / задач, используя их.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...