установка koalas pip завершается неудачно из-за зависимости pyarrow - PullRequest
Новая
       23

установка koalas pip завершается неудачно из-за зависимости pyarrow

0 голосов
/ 25 апреля 2019

Я пытался установить новый пакет Databricks koalas, используя рекомендованный pip install koalas, но он не удался при установке pyarrow.

Затем я установил pyarrow и повторил попытку koalas, но при этом pyarrow все равно не получилось. Я посетил страницу Github , которая сообщила мне:

Если не удается установить зависимость pyarrow, вы можете попробовать установка с Python 3.6.x, так как стрелка установки pip не работает коробки за 3,7 https://github.com/apache/arrow/issues/1125.

Я искал обсуждения и не мог найти смысл в «решениях», возможно, потому, что их нет. Я использую Python 3.7.3. Я получаю следующие сообщения об ошибках: 

  creating build/temp.macosx-10.7-x86_64-3.7
  -- Runnning cmake for pyarrow
  cmake -DPYTHON_EXECUTABLE=/anaconda3/bin/python  -DPYARROW_BOOST_USE_SHARED=on -DCMAKE_BUILD_TYPE=release /private/tmp/pip-install-uhdr9agf/pyarrow
  unable to execute 'cmake': No such file or directory
  error: command 'cmake' failed with exit status 1

  ----------------------------------------
  Failed building wheel for pyarrow
  Running setup.py clean for pyarrow
Failed to build pyarrow
Installing collected packages: pyarrow, koalas
  Found existing installation: pyarrow 0.13.0
    Uninstalling pyarrow-0.13.0:
      Successfully uninstalled pyarrow-0.13.0
  Running setup.py install for pyarrow ... error
    Complete output from command /anaconda3/bin/python -u -c "import setuptools, tokenize;__file__='/private/tmp/pip-install-uhdr9agf/pyarrow/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record /private/tmp/pip-record-i7k4nwil/install-record.txt --single-version-externally-managed --compile:

...

    -- Runnning cmake for pyarrow
    cmake -DPYTHON_EXECUTABLE=/anaconda3/bin/python  -DPYARROW_BOOST_USE_SHARED=on -DCMAKE_BUILD_TYPE=release /private/tmp/pip-install-uhdr9agf/pyarrow
    unable to execute 'cmake': No such file or directory
    error: command 'cmake' failed with exit status 1

    ----------------------------------------
  Rolling back uninstall of pyarrow

... 

Command "/anaconda3/bin/python -u -c "import setuptools, tokenize;__file__='/private/tmp/pip-install-uhdr9agf/pyarrow/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record /private/tmp/pip-record-i7k4nwil/install-record.txt --single-version-externally-managed --compile" failed with error code 1 in /private/tmp/pip-install-uhdr9agf/pyarrow/

Я пробовал pip install koalas, sudo pip install koalas и sudo -H pip install koalas и у всех одно и то же сообщение об ошибке.

Кто-нибудь нашел решение этих ошибок? Или коалы не (пока) не совместимы с 3.7?

1 Ответ

0 голосов
/ 26 апреля 2019

вы, вероятно, видели это, но упомянутое вами сообщение о github относительно стрелки гласит: " Это работает для Python <3.7. Для Python 3.7 вам необходимо установить пакеты Arrow C ++ с помощью различных средств. </em>"

Мне удалось настроить коалы, работающие в локальном режиме на одной машине, с python 3.6, и успешно запустил пример сценария github ... он также указывает "pyspark> = 2.4.0 рекомендуется"

Я уверен, что если вы попробуете 3,6, это сработает для вас. 

import sys
print(sys.version)
import pandas as pd
import databricks.koalas as ks
import pyarrow as pa

3.6.8

pdf = pd.DataFrame({'x':range(3), 'y':['a','b','b'], 'z':['a','b','b']})
print(pdf.head())

   x  y  z
0  0  a  a
1  1  b  b
2  2  b  b

df = ks.from_pandas(pdf)
df.columns = ['x', 'y', 'z1']
df['x2'] = df.x * df.x
df['x2']
0    0
1    1
2    4
Name: x2, dtype: int64
...