при чтении файлов json в DataFrame, таким образом:
val frame = sqlContext.read.json("path/ts=100/somefile.json")
в DataFrame, который я получаю, все значения ts равны "100", даже если вfile.
, странная вещь в том, что если я использую: sqlContext.read.json("path/ts=100"), я получаю все файлы во фрейм, и значение "ts" не переопределяется.Любая идея, как работать через него?
примеры:
значения во фрейме данных:
TS: 100
значения вjson file:
{ "ts": "5002342004" }
Спасибо.