Что произойдет, если два сценария Python захотят написать в одном файле?

Question

У меня есть конвейер, который в какой-то момент разделяет работу на различные подпроцессы, которые выполняют одно и то же параллельно.Таким образом, их вывод должен идти в один и тот же файл.

Не слишком ли рискованно говорить, что все эти процессы должны записывать в один и тот же файл?Или python пытается повторить попытку, если видит, что этот ресурс занят?

Answer 1

Это зависит от системы. В Windows ресурс заблокирован, и вы получаете исключение. В Linux вы можете записать файл с двумя процессами (записанные данные могут быть смешаны)

В идеале в таких случаях следует использовать семафоры для синхронизации доступа к общим ресурсам.

Если использование семафоров слишком тяжело для ваших нужд, тогда единственной альтернативой является запись в отдельных файлах ...

Редактировать : Как было отмечено в более позднем посте , менеджер ресурсов является еще одной альтернативой для обработки одновременно работающих писателей

Answer 2

В общем, это не очень хорошая идея, и для ее решения потребуется много усилий.Поскольку записи должны быть сериализованы, это также может отрицательно повлиять на масштабируемость.

Я бы рекомендовал записывать в отдельные файлы и объединять (или просто оставлять их как отдельные файлы).

Answer 3

Лучшим решением является реализация менеджера ресурсов (писателя), чтобы не открывать один и тот же файл дважды.Этот менеджер может использовать механизмы синхронизации потоков (threading.Lock), чтобы избежать одновременного доступа на некоторых платформах.

Answer 4

Как насчет того, чтобы все разные процессы записывали свои выходные данные в очередь и имели один процесс, который читает эту очередь и записывает в файл?

Answer 5

Используйте multiprocessing.Lock () вместо threading.Lock ().Просто предупреждение!может замедлить вашу возможность одновременной обработки, потому что один процесс просто ожидает снятия блокировки