Преобразование набора данных столбца в формат Json в Spark

Question

spark версия - 2.2 Java 1.8

У меня есть столбец в наборе данных строкового типа, но я хочу преобразовать его в формат JSON.

Я попытался с помощью to_json метод.Это работает нормально, но добавляет дополнительные квадратные скобки в контент json, потому что внешние страницы не загружаются.

Но я пробовал в windows (локально), контент идет правильно.

Может ли кто-нибудь сообщить мне, если есть какой-либо другой способ преобразовать строку или что-либо пропущенное в метод JSON?

Input in xml file -

<english_content>
    <aTitle>abc</articleTitle>
    <result_article>abc</search_result_article>
    <content_type_container>
      <web_component>
        <webcomponent_url>text.html</webcomponent_url>
      </web_component>
      <content_type>web_component</content_type>
    </content_type_container>
    <search_result_article_desc>this is test.</search_result_article_desc>
  </english_content>

, когда я использую ниже метод to_json непосредственно на входе, он дает мне вывод с Extra Squareскобка.

 Dataset<Row> ds1 = ds.withColumn("content.serialized",to_json(col("english_content")))

сгенерированный вывод - здесь прибывает дополнительный «[».Так что он ломается в передней части.

{"Title":"abc","content_type_container":[{"content_type":"web_component","web_component":{"webcomponent_url":"text.html"}}],"result_article":"abc","search_result_article_desc":"this is test."}

Ожидаемый результат - без квадратной скобки.

{"Title":"abc","content_type_container":{"content_type":"web_component","web_component":{"webcomponent_url":"text.html"}},"result_article":"abc","search_result_article_desc":"this is test."}

Заранее спасибо.