Я ищу простого менеджера ресурсов. У меня есть небольшой набор компьютеров, каждый с разными характеристиками (объем памяти и количество графических процессоров). Я использую алгоритмы обучения ML в виде автономных скриптов на Python на этих машинах.
Один скрипт выполняется на одном компьютере, и распределенных вычислений не требуется. Я заранее знаю, сколько памяти и сколько графических процессоров требуется для конкретного сценария, который я хочу выполнить, чтобы я мог легко передать эту информацию менеджеру ресурсов.
Я ищу менеджер ресурсов, который помогает мне планироватьэти сценарии Python на узле, который на момент выполнения имеет достаточно свободной памяти и емкости графического процессора.
Я проверил Распределенные рабочие ресурсы Dask . Концепция абстрактных ресурсов - это как раз то, что мне нужно, но я не могу понять, смогу ли я использовать ее в качестве менеджера ресурсов для выполнения автономных скриптов на python. Можете ли вы дать мне некоторое руководство здесь?
У меня довольно большой опыт работы с Apache Spark, но начиная с Spark 2 планирование с поддержкой графического процессора не представляется возможным. Я проверил Mesos + Chronos, там все довольно сложно по сравнению с простотой этого варианта использования. K8S кажется еще более сложным.
Мне интересно, можно ли это сделать в Dask или любой другой технологии простым и понятным способом?