Насколько я знаю, вам всегда нужно вводить однострочные строки json. Так что в вашем примере используйте это:
[{"locationID": "ASK", "temp": 35}, {"locationID": "BC", "temp": 45}, {"locationID": "CHD", "temp": 55}, {"locationID": "RAJ", "temp": 65}, {"locationID": "EGY", "temp": 55}]
Для более общего подхода вы можете использовать что-то вроде следующего для переформатирования ваших многострочных строк json:
.selectExpr("REPLACE(CAST(value as string), '\n', '') as json")