Объект 'DataFrame' не имеет атрибута 'copy'

Question

У меня есть фрейм данных, и я хочу сделать его глубокую копию, чтобы я мог изменить копию и использовать ее для дальнейшей обработки. Я работаю в Azure Databricks.

Мой фрейм данных называется "a", и я попробовал следующую команду:

b = a.copy(deep=True)

Когда я запускаю его, я сталкиваюсь со следующей ошибкой:

'DataFrame' object has no attribute 'copy'

Я также пытался использовать функцию iloc или loc для создания нового кадра данных только с нужными мне столбцами, но с той же ошибкой (у объекта DataFrame нет атрибута lit).

Есть идеи, почему это происходит? ..

Answer 1

Если вы работаете в Python, проверьте, используете ли вы Spark DataFrame или pandas DataFrame . Если вы используете панд , то я не смогу рассказать вам, что происходит без дополнительной информации; если вы используете spark один, то вы должны использовать

newDataFrame = oldDataFrame.select('*')