У меня есть две таблицы кустов, в которых я определил столбец соединения «A» как десятичный (32,0) в таблице 1 и таблице 2. Оба имеют идентификаторы длиной 25 цифр, например 1558197467417188007491210.
В моем коде, когда я выполняю соединение между этими двумя таблицами с использованием spark sql, оно не объединяется на основе всех 25 цифр, а объединяет идентификаторы на основе первых 20 цифр между двумя таблицами и дает неверные результаты.
Перед объединением, когда я приведу оба столбца "A" обеих таблиц к строке и объединению, он дает мне ожидаемый результат.
Есть ли проблемы с объединениями при использовании больших чисел в версии scala 2.11.8?
Таблица 1
Столбец A
155819746741718800749 1210
Таблица 2
Столбец А
155819746741718800749 1210
155819746741718800749 1320
Ожидаемый результат после присоединения INNER
Dataframe 1
Столбец А
155819746741718800749 1210
Но результат ошибки, который я получаю после ВНУТРЕННЕГО соединения (при использовании десятичного числа)
Dataframe 1
Столбец А
155819746741718800749 1210
155819746741718800749 1320