Простой пример Spark Scala Post to External Rest API

Question

Впервые в Spark Scala, я просто хочу прочитать файл json и опубликовать содержимое на внешний сервер api rest. Кто-нибудь может привести простой пример? или предоставить рекомендации?

Answer 1

Вы, вероятно, не хотите использовать Spark для этого. Spark - аналитический движок для обработки больших объемов данных - если вы не читаете в больших количествах json из hdf, эта задача больше подходит для scala. Вы должны найти способы прочитать файл json в Scala и отправить этот контент на сервер в Scala.

Вот несколько замечательных мест для начала:

Файл Scala Read JSON

https://alvinalexander.com/scala/how-to-send-json-post-data-to-restful-url-in-scala

Следующий URL-адрес приведен по адресу:

import java.io._
import org.apache.commons._
import org.apache.http._
import org.apache.http.client._
import org.apache.http.client.methods.HttpPost
import org.apache.http.impl.client.DefaultHttpClient
import java.util.ArrayList
import org.apache.http.message.BasicNameValuePair
import org.apache.http.client.entity.UrlEncodedFormEntity
import com.google.gson.Gson

case class Person(firstName: String, lastName: String, age: Int)

object HttpJsonPostTest extends App {

    // create our object as a json string
    val spock = new Person("Leonard", "Nimoy", 82)
    val spockAsJson = new Gson().toJson(spock)

    // add name value pairs to a post object
    val post = new HttpPost("http://localhost:8080/posttest")
    val nameValuePairs = new ArrayList[NameValuePair]()
    nameValuePairs.add(new BasicNameValuePair("JSON", spockAsJson))
    post.setEntity(new UrlEncodedFormEntity(nameValuePairs))

    // send the post request
    val client = new DefaultHttpClient
    val response = client.execute(post)
    println("--- HEADERS ---")
    response.getAllHeaders.foreach(arg => println(arg))
}