Ошибка размера Bulkloader CSV

Question

Bulkloader вызывает следующую ошибку при импорте файла CSV с большими ячейками:

[ERROR   ] Error in data source thread: field larger than field limit (131072)

Это общая проблема для модуля csv, которую можно исправить с помощью:

csv.field_size_limit(sys.maxint)

Как я могу заставить это работать?

Answer 1

Попробуйте это:

В массовом загрузчике. Yaml добавьте:

python_preamble:
- import: csv_fix
... # the rest of your imports

В csv_fix.py добавьте:

import csv, sys
csv.field_size_limit(sys.maxint)