Как создать файл .tsv в блоках данных (scala, python и т. Д.) - PullRequest
0 голосов
/ 27 декабря 2018

Пожалуйста, дайте мне знать, как создать файл .tsv в коде блоков данных (scala, python).

ex: Пример создания файла .csv.

% scala

val df = spark.sql ("SELECT * FROM Employee")

df.write.format ("csv"). option ("header", true) .option ("inferSchema", true).опция ( "разделитель", "\ т"). режим (SaveMode.Overwrite) .save (destinationFilePath)

1 Ответ

0 голосов
/ 27 декабря 2018

import org.apache.spark.sql.SparkSession

object Test1 {

  case class Person(name: String, age: Int)

  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().master("local[*]").appName("test").getOrCreate()
    import spark.implicits._

    val ds = Seq(Person("eiffel", 23), Person("eiffel", 24)).toDS()
    // val ds = spark.sql("select * from person")
    ds.repartition(1).write.csv("file:///home/eiffel/csv")
  }
}
...