Что такое стол пиарроу?Будет ли он заменой панелей данных?

Question

Я пытался читать документы, но я все еще в замешательстве.Смогут ли таблицы pyarrow работать с groupbys и обладать всеми этими замечательными функциями для панд?

import pyarrow as pa
import pandas as pd
df = pd.DataFrame({"a": [1, 2, 3]})
table = pa.Table.from_pandas(df)

Но теперь для anticlimax:

table["a"]
# ---------------------------------------------------------------------------
# TypeError                                 Traceback (most recent call last)
# <ipython-input-18-fb884245e2de> in <module>()
# ----> 1 table["a"]
# table.pxi in pyarrow.lib.Table.__getitem__()
# TypeError: an integer is required
table[0]
# <pyarrow.lib.Column object at 0x111306330>
# chunk 0: <pyarrow.lib.Int64Array object at 0x11728d1d8>
# [
# 1,
# 2,
# 3
# ]

c = table[0]
c[c>2]
# ---------------------------------------------------------------------------
# TypeError                                 Traceback (most recent call last)
# <ipython-input-16-cc54312229de> in <module>()
# ----> 1 c[c>2]
# 
# TypeError: '>' not supported between instances of 'pyarrow.lib.Column' and 'int'

Является ли pyarrow библиотекой, предназначенной для внутренних целей панд иличто?

Answer 1

Да, pyarrow - это библиотека для создания внутренних компонентов фрейма данных (и других приложений для обработки данных).Это не библиотека конечных пользователей, как панды.Если вы хотите продолжить обсуждение, пожалуйста, напишите в списке рассылки Apache Arrow.