Вычислите приблизительное количество строк столбца данных с точкой '.'

Question

Я не могу рассчитать примерное количество для фрейма данных pyspark, содержащего точку в имени столбца.

Например, схема данных:

root
 |-- col.dot: double (nullable = true)

Тогда я не могу сделать

df.approxQuantile(('`col.dot`'), [0.5], 0.25)

Это приводит к ошибке: pyspark.sql.utils.IllegalArgumentException: 'Поле "col.dot" не существует. \ nДоступные поля: col.dot'

Я также пытался

df.approxQuantile(('col.dot'), [0.5], 0.25)

, который дает мне ошибку как: pyspark.sql.utils.AnalysisException: «не удается разрешить \» col.dot \ 'данные входные столбцы: col.dot'

Answer 1

Spark не может разрешить имена столбцов с точками из-за ошибки (см. Этот отчет об ошибке для получения дополнительной информации). Просто используйте приведенный ниже код для очистки имен столбцов:

x = [s.replace('.', 'DOT') for s in df.columns]
df = df.toDF(*x)