Как читать файл Json и управлять им с помощью Apache beam в Python

Question

У меня есть файл .txt, который имеет формат JSON.Я хочу читать, манипулировать и реструктурировать файл (изменить имя поля ...) Как я могу сделать это в Python с Apache Beam?

Answer 1

Чтобы иметь возможность читать файл Json с помощью Apache Beam на Python, вы можете создать собственный кодер:

CF: https://beam.apache.org/documentation/programming-guide/#specifying-coders

class JsonCoder(object):
"""A JSON coder interpreting each line as a JSON string."""

def encode(self, x):
    return json.dumps(x)

def decode(self, x):
    return json.loads(x)

И затем вам нужно указатьэто когда вы читаете или пишете свои данные, например:

lines = p | 'read_data' >> ReadFromText(known_args.input, coder=JsonCoder())

С уважением, работайте хорошо;)