Создайте Spark Data Frame только с одним столбцом, имеющим номер от 1 до 1 миллиона

Question

Как создать фрейм данных Spark только с одним столбцом с номерами от 1 до 10 миллионов?

Я пытался использовать Python для создания списка чисел в диапазоне от 1 до 10 миллионов, но мое решение не удается. Пожалуйста, сообщите, спасибо заранее.

Я использую запрос ниже:

df_base1 = sqlc.range(0, 1000000)

Но это не получается:

Произошла ошибка: Неверный код состояния «500» из http://:8999/sessions/401/statements с ошибкой: «java.lang.IllegalStateException: канал RPC закрыт.»

Answer 1

df_base1 = sqlc.range(0, 1000000)

Работает нормально. Возникла проблема с окружающей средой.