У меня есть конвейер: F -> M -> S. Где F, M и S - задачи.Я вызываю Луиджи с задачей S. Задача S...
В Luigi, как я могу проверить, существует ли внешний ресурс (в моем примере индекс эластичного...
Я пытаюсь создать рабочий процесс в Python, который будет иметь следующие функции: Динамическое...
Из моего прочтения документации, luigi предназначен для работы с текстовыми файлами или...
Используя Луиджи , я хочу определить рабочий процесс с двумя "этапами": Первый читает данные из...
У меня есть следующие задачи: class TaskA(ExternalProgramTask): def program_args(self): return...
Я пытался запустить сценарий оболочки параллельно с использованием Luigi, как показано ниже: class...
Рассмотрим следующие задачи: import luigi class YieldFailTaskInBatches(luigi.Task): def run(self):...
У меня есть задача, которая обучает модель, например: class ModelTrain(luigi.Task): def...
Это нормально для output() ZIP-файлов, например: def output(self): date_path = self
Если вы используете Luigi на сервере, к которому я подключен с помощью ssh, можно ли увидеть ход...
У меня есть обработка, которая выполняется в Luigi, на одном из этапов я выполняю серию вычислений...
На днях я потратил добрых пять или шесть часов, пытаясь распараллелить какую-то работу в Луиджи,...
Я думаю, что это обычное дело, и я просто пытаюсь выяснить правильную структуру зависимости luigi,...
Я работаю над созданием моего первого конвейера Luigi, и в настоящее время я тестирую задачи по...
У меня есть ExternalTask, как указано ниже: class MyExternalTask1(ExternalTask): def output(self):...
Я пытаюсь открыть файл Excel в своем рабочем процессе Luigi, используя pandas.read_excel(),...
Я пытался настроить luigi для запуска конвейера, где начальные входы являются выходом другого...
Я пытаюсь построить конвейер обработки данных с Луиджи. Поскольку у меня нет предыдущего опыта ни в...
Мой план: Переместить всю обработку данных в Spark (желательно PySpark), чтобы окончательный вывод...
У нас есть задание Luigi, которое начинается в 2 часа ночи и может выполняться произвольное...
Я смотрю на несколько планировщиков рабочих процессов с открытым исходным кодом для DAG заданий с...
Я бы хотел установить несколько целевых путей в качестве глобальных переменных в Luigi. Причина в...
В документации написано: Если параметр создается с significant=False, он игнорируется, если речь...
Я хочу сохранить файл Sickle на S3 в результате выполнения luigi Task. Ниже приведен класс, который...