Pandas HDFStore: добавление завершается неудачно, когда для min_itemsize задан максимум столбца строки - PullRequest
Новая
       126

Pandas HDFStore: добавление завершается неудачно, когда для min_itemsize задан максимум столбца строки

0 голосов
/ 19 сентября 2019

Я определяю максимальную длину всех строковых столбцов нескольких фреймов данных, затем пытаюсь создать хранилище HDFS: 

import pandas as pd

# Detect max string length for each column across all DataFrames
max_lens = {}
for df_path in paths:
    df = pd.read_pickle(df_path)
    for col in df.columns:
        ser = df[col]
        if ser.dtype == 'object' and isinstance(
            ser.loc[ser.first_valid_index()], str
        ):
            max_lens[col] = max(
                ser.dropna().map(len).max(), max_lens.setdefault(col, 0)
            )
print('Setting min itemsizes:', max_lens)

hdf_path.unlink()  # Delete of file for clean retry
store = pd.HDFStore(hdf_path, complevel=9)
for df_path in paths:
    df = pd.read_pickle(df_path)
    store.append(hdf_key, df, min_itemsize=max_lens, data_columns=True)
store.close()

Обнаружены следующие максимальные длины строк: 

     max_lens = {'hashtags': 139,
                 'id': 19,
                 'source': 157,
                 'text': 233,
                 'urls': 2352,
                 'user_mentions_user_ids': 199,
                 'in_reply_to_screen_name': 17,
                 'in_reply_to_status_id': 19,
                 'in_reply_to_user_id': 19,
                 'media': 286,
                 'place': 56,
                 'quoted_status_id': 19,
                 'user_id': 19}

И все же я получаю эту ошибку: 

ValueError: Trying to store a string with len [220] in [hashtags] column but
this column has a limit of [194]!
Consider using min_itemsize to preset the sizes on these columns

Что странно, поскольку обнаруженная максимальная длина hashtags равна 139.

1 Ответ

0 голосов
/ 23 сентября 2019

HDF хранит строки в UTF-8, поэтому вам необходимо закодировать строки как UTF-8, а затем найти максимальную длину. 

a_pandas_string_series.str.encode('utf-8').str.len().max()
...