json.decoder.JSONDecodeError: Ожидаемое значение: строка 1, столбец 1 (символ 0) при чтении файла json из набора данных Google QuickDraw

Question

Я создаю приложение, используя файлы набора данных Google QuickDraw ndjson.Я запускаю эту функцию в каждой строке файла:

def parse_line(ndjson_line):
    """Parse an ndjson line and return ink (as np array) and classname."""
    sample = json.loads(ndjson_line)
    class_name = sample["word"]
    if not class_name:
        print("Empty classname")
        return None, None
    inkarray = sample["drawing"]
    stroke_lengths = [len(stroke[0]) for stroke in inkarray]
    total_points = sum(stroke_lengths)
    np_ink = np.zeros((total_points, 3), dtype=np.float32)
    current_t = 0
    if not inkarray:
        print("Empty inkarray")
        return None, None
    for stroke in inkarray:
        if len(stroke[0]) != len(stroke[1]):
            print("Inconsistent number of x and y coordinates.")
            return None, None
    for i in [0, 1]:
        np_ink[current_t:(current_t + len(stroke[0])), i] = stroke[i]
    current_t += len(stroke[0])
    np_ink[current_t - 1, 2] = 1  # stroke_end
    # Preprocessing.
    # 1. Size normalization.
    lower = np.min(np_ink[:, 0:2], axis=0)
    upper = np.max(np_ink[:, 0:2], axis=0)
    scale = upper - lower
    scale[scale == 0] = 1
    np_ink[:, 0:2] = (np_ink[:, 0:2] - lower) / scale
    # 2. Compute deltas.
    np_ink[1:, 0:2] -= np_ink[0:-1, 0:2]
    np_ink = np_ink[1:, :]
    return np_ink, class_name

Она прекрасно работает для большинства строк, но для нескольких строк, например ::

{"word":"wristwatch","countrycode":"FR","timestamp":"2017-01-19 09:30:18.19194 UTC","recognized":true,"key_id":"6721203257475072","drawing":[[[0,143],[66,67]],[[1,170],[35,39]],[[169,169,179,186,187,193,216,228,228,225,249,254,255,249,244,246,251,254,242,226,232,238,237,224,235,234,211,201,197,192,170,160,144,141,142],[39,26,7,9,25,15,2,2,12,19,7,23,36,39,34,32,37,56,54,44,47,58,67,65,74,80,84,82,75,92,73,97,85,71,67]],[[94,96,110],[26,88,89]]]}

Яполучить следующую ошибку:

Traceback (most recent call last):
  File "A:\Code\Machine Learning\Software Engineering project\Quick Draw\Create_Dataset_from_ndjson.py", line 168, in <module>
    tf.app.run(main=main,argv=[sys.argv[0]]+unparsed)
  File "C:\Users\shind\AppData\Local\Programs\Python\Python36\lib\site-packages\tensorflow\python\platform\app.py", line 125, in run
    _sys.exit(main(argv))
  File "A:\Code\Machine Learning\Software Engineering project\Quick Draw\Create_Dataset_from_ndjson.py", line 124, in main
    classes = convert_to_tfrecord(FLAGS.source_path,FLAGS.destination_path,FLAGS.train_examples_per_class,FLAGS.eval_examples_per_class,FLAGS.classes_path,FLAGS.output_shards)
  File "A:\Code\Machine Learning\Software Engineering project\Quick Draw\Create_Dataset_from_ndjson.py", line 98, in convert_to_tfrecord
    drawing, class_name  = parse_line(ndjson_line)
  File "A:\Code\Machine Learning\Software Engineering project\Quick Draw\Create_Dataset_from_ndjson.py", line 13, in parse_line
    sample = json.loads(ndjson_line)
  File "C:\Users\shind\AppData\Local\Programs\Python\Python36\lib\json\__init__.py", line 354, in loads
    return _default_decoder.decode(s)
  File "C:\Users\shind\AppData\Local\Programs\Python\Python36\lib\json\decoder.py", line 339, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
  File "C:\Users\shind\AppData\Local\Programs\Python\Python36\lib\json\decoder.py", line 357, in raw_decode
    raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

Что может быть причиной этой ошибки?Это говорит об ожидаемой стоимости, но я прошел линию, так что для этого нужно?Кроме того, это ничем не отличается от других строк, которые я прошел, которые не дают никакой ошибки, так что же с этой строкой?Какие изменения мне нужно внести в файлы JSON или мой код?Я взял код из самого репозитория Google GitHub.Кроме того, в наборе данных я использую упрощенные файлы JSON в наборе данных.Весь набор данных:

Набор данных QuickDraw

Answer 1

Возможно, в вашем наборе данных есть пустая строка, вы можете попробовать добавить это, чтобы проверить строку ошибки

try:
    sample = json.loads(ndjson_line)
except json.decoder.JSONDecodeError as e:
    print("Error Line: {}\n".format(ndjson_line)) # Print the Decode Error string
    raise e # To Stop the Program

---

Обновлено # 2

Обработка исключений

try:
    sample = json.loads(ndjson_line)
except json.decoder.JSONDecodeError as e:
    return None, None