Ищете альтернативное решение ARRAY_CONTAINS для Spark SQL

Question

Я использую вложенную структуру данных (массив) для хранения многозначных атрибутов для таблицы Spark.Я использую array_contains (массив, значение) в Spark SQL, чтобы проверить, содержит ли массив значение, но кажется, что есть проблема с производительностью.Для большого стола Spark требуется много времени.Есть ли альтернативное решение этой проблемы?

Answer 1

вы не предоставили много подробностей о том, что именно вы делаете - если вы часто обращаетесь к значениям внутри массива, если может быть полезно добавить столбцы со значениями из массива, например, используя взорваться