Spark: печать данных в Java

Question

Я хочу знать, что эквивалентно display(df) в Java?

Я хочу, чтобы результат в виде строки позже сохранялся в файле журнала.Следовательно, show не будет работать, поскольку он просто печатает на консоль.

Answer 1

Если вы хотите, чтобы df.show () выводился как строка, вы должны использовать метод df.showString () .Я не знаю, почему этот метод отсутствует в документации, но он работает, и вы можете увидеть более подробную информацию здесь: https://github.com/apache/spark/blob/master/sql/core/src/main/scala/org/apache/spark/sql/Dataset.scala

См. Примеры:

Dataset<Row> df = spark.read()
                .csv("iris.csv")
                .toDF("sepal.length","sepal.width","petal.length","petal.width","variety");


System.out.println(df.showString(3, 0, true));

-RECORD 0--------------
 sepal.length | 5.1    
 sepal.width  | 3.5    
 petal.length | 1.4    
 petal.width  | 0.2    
 variety      | setosa 
-RECORD 1--------------
 sepal.length | 4.9    
 sepal.width  | 3      
 petal.length | 1.4    
 petal.width  | 0.2    
 variety      | setosa 
-RECORD 2--------------
 sepal.length | 4.7    
 sepal.width  | 3.2    
 petal.length | 1.3    
 petal.width  | 0.2    
 variety      | setosa 
 only showing top 3 rows

System.out.println(df.showString(3,1,false));

+------------+-----------+------------+-----------+-------+
|sepal.length|sepal.width|petal.length|petal.width|variety|
+------------+-----------+------------+-----------+-------+
|           5|          3|           1|          0|      s|
|           4|          3|           1|          0|      s|
|           4|          3|           1|          0|      s|
+------------+-----------+------------+-----------+-------+
only showing top 3 rows

Answer 2

Вам необходимо использовать метод show () объекта DataFrame.Вы также можете напечатать специальное количество строк, передав параметр: df.show(5)