Как настроить Java Размер образца искры Spark

Question

Я новичок в Java Spark.

В настоящее время у меня возникла проблема с HL для Mongodb, из-за которой поле может иметь другой тип данных. Так что я хочу увеличить размер выборки, но я вижу только примеры scala, пока я использую Java, кто-нибудь знает, правильно ли я настроил увеличение размера выборки?

SparkSession spark = SparkSession.builder()
                .master("local[2]")
                .appName("SparkReadMgToHive")
                .config("spark.sql.warehouse.dir", warehouseLocation)
                .config("spark.mongodb.input.uri", "mongodb://localhost:27017/test.testcollection")
                .config("sampleSize", 50000)
                .enableHiveSupport()
                .getOrCreate();

большое спасибо

Answer 1

Это spark.mongodb.input.sampleSize

SparkSession spark = SparkSession.builder()
                .master("local[2]")
                .appName("SparkReadMgToHive")
                .config("spark.sql.warehouse.dir", warehouseLocation)
                .config("spark.mongodb.input.uri", "mongodb://localhost:27017/test.testcollection")
                .config("spark.mongodb.input.sampleSize", 50000)
                .enableHiveSupport()
                .getOrCreate();