Невозможно импортировать коалы в тетради scala

Question

Кажется, что это c но из того, что я вижу на сайте databricks, на моей стороне ничего не работает

Я установил пакет koalas на свой кластер Но когда я пытаюсь импортировать пакет в мой Scala ноутбук, у меня есть проблема.

command-3313152839336470:1: error: not found: value databricks
import databricks.koalas

Если я сделаю это в Python, все будет отлично работать

Подробности кластера и ноутбука

Спасибо за вашу помощь Мэтт

Answer 1

Koalas - это пакет Python, который имитирует интерфейсы Pandas (еще один Python). В настоящее время версия Scala не публикуется, хотя проект может содержать некоторый код Scala. Цель Koalas - предоставить замену Pandas для использования распределенной природы Apache Spark. Поскольку Pandas доступен только для Python, я не ожидаю прямого порта для этого в Scala.

https://github.com/databricks/koalas

Для Scala Лучше всего использовать API-интерфейсы DataSet и DataFrame Spark: https://spark.apache.org/docs/latest/api/java/org/apache/spark/sql/Dataset.html https://databricks.com/blog/2016/01/04/introducing-apache-spark-datasets.html