Если вы хотите быть независимым от механизма хранения, есть PyFilesystem (fs) , который абстрагирует файловые системы, и соединитель для него, fs-gcsfs .
Не путать с библиотекой gcsfs от людей, которые делают Dask.
Они имеют несколько отличий, и одно может быть более полезным, чем другое в определенных обстоятельствах. Тем не менее, PyFilesystem one кажется гораздо более «портативным» в том смысле, что интерфейс унифицирован, и я добился большего успеха с ним. В качестве бонуса, если вы достаточно осторожны, вы можете заставить ваше приложение работать с вещами, которые даже не являются настоящими файловыми системами (zip-файлы, MemoryFS и т. Д.)