Отказоустойчивость в Spark vs Dask

Question

Я прочитал следующие в документации Dask в разделе известных ограничений:

• Это [Dask] не является отказоустойчивым. Отказ любого работника может привести к сбою системы.

• Не изящно выходит из строя в случае ошибок

но я не вижу упоминаний о отказоустойчивости в сравнении с Spark . В настоящее время это «причины, по которым вы можете выбрать Spark» :

• Вы предпочитаете Scala или язык SQL
• У вас в основном JVM инфраструктура и устаревшие системы
• Вы хотите надежное и надежное решение для бизнеса
• В основном вы занимаетесь бизнес-аналитикой с легким машинным обучением
• Требуется универсальное решение

Мои вопросы:

• Spark на самом деле спроектирован для отказоустойчивости так, как в настоящее время нет Dask?
• Какой тип отказоустойчивости обеспечивает Spark (в теории / на практике), чего нет у Dask, если он есть, или наоборот?

Answer 1

Этот набор документов был очень очень старый и не должен был быть общедоступным. Я только что удалил их. Пожалуйста, смотрите http://dask.pydata.org/en/latest/ для актуальной документации.

Даск отказоустойчив к потере любого работника. Сбой в случае сбоя центрального планировщика.