Как я могу изменить приведенный ниже код так, чтобы он извлекал только последнюю строку в таблице, в частности значение в столбце key?Причина в том, что это огромная таблица, и мне нужна последняя строка, в частности значение ключа, чтобы узнать, сколько он загружен на данный момент.Меня не волнует, какое еще содержание.
Строка 1:
val df = spark.sqlContext.read.format("datasource").option("project", "character").option("apiKey", "xx").option("type", "tables").option("batchSize", "10000").option("database", "humans").option("table", "healthGamma").option("inferSchema", "true").option("inferSchemaLimit", "1").load()
Строка 2:
df.createTempView("tables")
Строка 3:
spark.sqlContext.sql("select * from tables").repartition(1).write.option("header","true").parquet("lifes_remaining")