Сопоставьте исходные данные из набора данных с новыми данными с помощью библиотеки Datavec и сохраните их в Spark RDD - PullRequest
2 голосов
/ 22 мая 2019

У меня есть набор данных, который содержит широту и долготу, написанные как 20.55E и 30.11N . Я хочу заменить эти строки направления соответствующими - , где это необходимо. Так что, в основном, я буду отображать в зависимости от условия и изменять значение.
В настоящее время у меня есть Schema, и я пытаюсь разобраться в TransformProcess

Мой Schema такой:

new Schema.Builder()
                .addColumnTime("dt", DateTimeZone.UTC)
                .addColumnsDouble("AverageTemperature" , "AverageTemperatureUncertainty")
                .addColumnsInteger("City" , "Country")
                .addColumnsFloat("Latitude" , "Longitude")
                .build();  

И я застрял с моим TransformProcess вот так:

new TransformProcess.Builder(schema)
                .filter(new FilterInvalidValues("AverageTemperature" , "AverageTemperatureUncertainty"))
                .stringToTimeTransform("dt","yyyy-MM-dd", DateTimeZone.UTC)
                . // map currentLatitude -> remove direction string and put sign  

Я пытаюсь следовать этому коду из руководства, а после TransformProcess я сделаю Spark и сохраню данные.

Мой вопрос:
Как я могу выполнить сопоставление?
Из документов API TansformProcess я не могу понять, что поможет мне решить мою проблему.
Я использую библиотеку Datavec в Deeplearning4J

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...