У меня есть большой массив данных pandas, где типы для различных столбцов иногда неоднозначны.Я просматриваю свой блок данных по частям и вставляю их в базу данных, но проблема в том, что я создаю базу данных на первом блоке, поэтому мои типы баз данных создаются на основе характера данных из первого блока.Даже если я пытаюсь увеличить размер порции, я все равно вижу, что последующие порции иногда не вписываются в схему данных, определенную для первой порции.
Если я пытаюсь назначить типы данных столбцам вручную, иногда панды будутстолкнуться с ошибкой, что он получает данные, которые он не ожидал.Сообщения об ошибках, которые я получаю на стороне sql, а также на стороне панд, на самом деле не дают мне никакой конкретной информации о том, какие столбцы или значения потерпели неудачу.Как я вижу, я могу просто загрузить данные в sql в виде строки, а затем пройти позже и попытаться преобразовать нужные столбцы в числовые столбцы.Мне также было интересно, есть ли какой-нибудь способ автоматического понижения столбца, если он получает данные в типе, которого они не ожидали, или в случае очень редкого значения, не являющегося правильным, просто замените его на NaN.
Есть ли у кого-нибудь подобный опыт в подобной проблеме, или есть ли способ использовать одно из упомянутых мной решений?