У меня есть сценарий Python для чтения, который читает большие объемы данных и обрабатывает их. Эти данные должны быть предоставлены нескольким «функциональным» сценариям Python, которые я хочу запускать параллельно. Эти данные содержат несколько переменных списка. Я хочу запустить все эти скрипты Python (как для чтения, так и для работы) через один скрипт оболочки.
Каков эффективный способ передачи больших данных из сценария «чтения» в несколько сценариев «функции»?
Я рассмотрел следующие варианты:
- Передача через сокеты, с JSON или Pickle для передачи списков.
- Просто запишите обработанные данные в новый файл и прочитайте этот файл в каждом из скриптов 'function'.
- Облегченная связь и сортировка LCM. У меня были проблемы при запуске этого.
Какой из этих методов лучше? или предложить какие-либо новые методы. Также будет полезна помощь в настройке LCM.