У меня есть набор данных X ТБ, но кластер с ОЗУ только 0,1X ТБ - лучшая стратегия для сбора данных и выполнения 10 небольших заданий, которые будут выполняться быстрее (так как я смогу получить большую частьданные в ОЗУ, так как кажется, что рабочие места стоят, занимают бесконечно много времени, так как я предполагаю, что они тратят больше времени на чтение / запись и разлив на диск
любые предложения, рекомендации приветствуются.