У меня есть папка проекта с множеством подпапок (скажем, 100). Сценарий python переходит к каждой из этих подпапок, вызывает исполняемый файл, записывает результаты в выходной файл и переходит к следующей подпапке.
Вот мой python скрипт
from dask_jobqueue import PBSCluster
cluster = PBSCluster()
cluster.scale(jobs=3)
from dask.distributed import Client
client = Client(cluster)
...
r_path='/path/to/project/folder'
def func():
f = open('out', 'w')
(subprocess.call(["/path/to/executable/file"], stdout=f))
for root, dirs, files in os.walk("."):
for name in dirs:
os.chdir(r_path+'/'+str(name))
func()
В проекте
- Выходной файл (ы) необходимо использовать для дальнейших вычислений, поэтому скрипт должен знать, когда выполнение было завершено для данной подпапки
- Исполняемый файл должен быть ограничен 10 подпапками в любой момент времени, и из этих 10, после завершения любого выполнения, новый один в другой подпапке должен быть запущен.
Может кто-нибудь дайте мне знать, можно ли использовать dask для этого?