После некоторого поиска я узнал, как это сделать:
Мы должны упомянуть каталог 'sample', как показано ниже, чтобы создать или загрузить папку целиком.
for file in filesToUploadList:
print(file)
block_blob_service.create_blob_from_path(container_name, 'sample\\'+file,outputBlobDir+'\\'+file)