У меня есть таблица с названием книги (_c1), страницами (_c2) и т. Д. c. Я заинтересован в том, чтобы найти самый встречающийся термин в названии (самое встречающееся слово). Я попытался сделать следующее:
val countData = spark.sql("select value as _c1, count(*) from inputpr2q1 CROSS APPLY STRING_SPLIT(_c1,'_') group by value").show()
В этом запросе написано неправильно. Я не знаю, доступна ли эта функция в scala. Мне было интересно, как я мог это исправить или я мог бы просто использовать scala, чтобы найти ответ.
Спасибо.