Я использую SparkR в блоках данных, и я также пытаюсь gapplyCollect , чтобы ускорить вычисления. Я хочу сохранить результаты в таблице Hive внутри функции, примененной к gapplyCollect . Возможно ли это сделать?
Я не хочу ждать, пока все будет закончено, потому что некоторые задачи могут завершиться неудачно, и я потерял результаты и для других расчетов.