Я использую Pandas DataFrames для обработки и агрегирования строк для инкрементного добавления в существующую таблицу на сервере MariaDB (обработка ~ 545 тыс. Файлов с 1000 записей на файл). Я использую DataFrame.to_sql () для записи файлов:
df.to_sql('mentions', engine, index=False, if_exists='append')
Время от времени один из этих вызовов вызывает исключение из-за искаженных исходных данных. Кто-нибудь знает, является ли вызов DataFrame.to_sql () транзакционным для хранилищ данных, которые поддерживают транзакции, и все приложение DataFrame завершается неудачно, или это просто генерирует операторы INSERT, где я мог бы получать частичные загрузки DataFrames, генерирующих исключения?
Спасибо!