Пример WordCount - ошибка option.builder () (intelliJ, Solr, Spark) - PullRequest
Новая
       7

Пример WordCount - ошибка option.builder () (intelliJ, Solr, Spark)

0 голосов
/ 21 января 2019

Я начал изучать Solr и пытаюсь написать WordCount-пример с Solr и Spark.Но у меня есть проблема, возможно, с импортом или с зависимостями.Вы можете посмотреть мой код ниже ..

Мои зависимости: 

<groupId>com.lucidworks.spark</groupId>
<artifactId>spark-solr</artifactId>
<version>2.1.0</version>

<groupId>org.apache.solr</groupId>
<artifactId>solr-solrj</artifactId>
<version>7.6.0</version>

Мой код: 

object Solr extends SparkApp.RDDProcessor {
  def getName: String = "query-solr-benchmark"
  def getOptions: Array[Option] = {
    Array(
      Option.builder()
        .argName("QUERY")
        .longOpt("query")
        .hasArg
        .required(false)
        .desc("URL encoded Solr query to send to Solr")
        .build()
    )
  }
  def run(conf: SparkConf, cli: CommandLine): Int = {
    val zkHost = cli.getOptionValue("zkHost", "localhost:9983")
    val collection = cli.getOptionValue("collection", "collection1")
    val queryStr = cli.getOptionValue("query", "*:*")
    val rows = cli.getOptionValue("rows", "1000").toInt
    val splitsPerShard = cli.getOptionValue("splitsPerShard", "3").toInt
    val splitField = cli.getOptionValue("splitField", "_version_")

    val sc = new SparkContext(conf)

    val solrQuery: SolrQuery = new SolrQuery(queryStr)

    val fields = cli.getOptionValue("fields", "")
    if (!fields.isEmpty)
      fields.split(",").foreach(solrQuery.addField)

    solrQuery.addSort(new SolrQuery.SortClause("id", "asc"))
    solrQuery.setRows(rows)

    val solrRDD: SolrRDD = new SolrRDD(zkHost, collection, sc)

    var startMs: Long = System.currentTimeMillis

    var count = solrRDD.query(solrQuery).splitField(splitField).splitsPerShard(splitsPerShard).count()

    var tookMs: Long = System.currentTimeMillis - startMs
    println(s"\nTook $tookMs ms read $count docs using queryShards with $splitsPerShard splits")

    // IMPORTANT: reload the collection to flush caches
    println(s"\nReloading collection $collection to flush caches!\n")
    val cloudSolrClient = SolrSupport.getCachedCloudClient(zkHost)
    val req = CollectionAdminRequest.reloadCollection(collection)
    cloudSolrClient.request(req)

    startMs = System.currentTimeMillis

    count = solrRDD.query(solrQuery).count()

    tookMs = System.currentTimeMillis - startMs
    println(s"\nTook $tookMs ms read $count docs using queryShards")

    sc.stop()

  }
}

Моя проблема в том, что builder() красный, а яне могу запустить мой кодКто-нибудь знает, что я пропустил?

ошибка: построитель значений не является членом объекта org.apache.commons.cli.Option

1 Ответ

0 голосов
/ 23 января 2019 
        <dependency>
            <groupId>commons-cli</groupId>
            <artifactId>commons-cli</artifactId>
            <version>1.4</version>
        </dependency>

Я пропустил эту зависимость.

...