AttributeError: у объекта 'str' нет атрибута 'show' PySpark

Question

AttributeError: у объекта 'str' нет атрибута 'show'

Я пытаюсь передать любой тестовый файл json как часть аргумента командной строки.При этом он обрабатывает его как строку, которую я не хочу, но я хочу, чтобы он обрабатывался как DataFrame, чтобы он мог показывать dataframe с помощью df.show ().Я получаю это сообщение об ошибке на терминале, говорящее AttributeError: у объекта 'str' нет атрибута 'show'.

df = sqlContext.read.json(“tester.json")

def show_data(df):
      df.show()

parser = argparse.ArgumentParser()
parser.add_argument(‘-I’, ‘—inputfile', required=True , default =df)
args = parser.parse_args()
show_data(args.parameterfile)

Answer 1

Проблема в том, что вы передаете строку в функцию show_data.

Рабочий код:

import argparse

def show_data(input_filename):
    df = sqlContext.read.json(input_filename)
    df.show()


if __name__ == "__main__":
    parser = argparse.ArgumentParser()
    parser.add_argument("filename", help="path of the file of interest")
    args = parser.parse_args()
    show_data(args.filename)

Надеюсь, это поможет