Действительно ли dask.s3fs использует кеш?

Question

Когда вы вызываете S3FileSystem (). Open (..., fill_cache = True), похоже, что он все еще идет к s3, все еще выполняется рукопожатие ssl и т. Д. Является ли это предполагаемым поведением, которое он не кэширует?

Answer 1

Параметр fill_cache имеет очень специфическое значение

    If seeking to new a part of the file beyond the current buffer,
    with this True, the buffer will be filled between the sections to
    best support random access. When reading only a few specific chunks
    out of a file, performance may be better if False.

, т. Е. Он имеет значение только при случайном доступе к частям файла, когда этот файл остается открытым.Первоначальное SSL-соединение / рукопожатие требуется независимо, единственное, что может измениться, это точный диапазон запрашиваемых байтов.

Также обратите внимание, что s3ss использует boto Session, поэтому в общем случае SSL-соединения должны бытьобъединяются и используются повторно, где это возможно.