Ошибка при установке Spark на Google Colab

Question

Я получаю сообщение об ошибке при установке spark на Google Colab. Это говорит

tar: spark-2.2.1-bin-hadoop2.7.tgz: Не удается открыть: нет такого файла или каталога tar: Ошибка не устраняется: выход сейчас.

Это были мои шаги

• ! Apt-get install openjdk-8-jdk-headless -qq> / dev / null
• ! Wget -q http://apache.osuosl.org/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7.tgz
• ! Tar xf spark-2.2.1-bin-hadoop2.7.tgz
• ! Pip install -q findspark

введите описание изображения здесь

Answer 1

Чтобы запустить spark в Colab, сначала нам нужно установить все зависимости в среде Colab, такие как Apache Spark 2.3.2 с hadoop 2.7, Java 8 и Findspark, чтобы найти искру в системе. Установка инструментов может выполняться внутри ноутбука Jupyter от Colab.

!apt-get install openjdk-8-jdk-headless -qq > /dev/null
!wget -q https://www-us.apache.org/dist/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz
!tar xf spark-2.4.3-bin-hadoop2.7.tgz
!pip install -q findspark

если вы снова получаете эту ошибку: Не удается открыть: нет такого файла или каталога tar

Посетите сайт Apache spark и получите последнюю версию сборки: 1. https://www -us.apache.org / dist / spark / 2. http://apache.osuosl.org/spark/

заменить spark- 2.4.3 жирными словами на последнюю версию.

Answer 2

вы используете ссылку для старой версии, будут работать следующие команды (новая версия)

!apt-get install openjdk-8-jdk-headless -qq > /dev/null
!wget -q http://apache.osuosl.org/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz
!tar xf spark-2.4.0-bin-hadoop2.7.tgz
!pip install -q findspark