Чтение неверного json, пример разбора

Question

Я читаю что-то вроде json, неправильно отформатированный.Я пробовал разные парсеры - и ни один из них не подходит для специфического кодирования формата - есть идеи?

Я пробовал несколько пакетов, но ни один из них не может захватить все поля в каждом регистре json

{

"_id" : ObjectId("5c187d6caf0ffa6162eb4f5c"), 

"SDKVersion" : "6.1.7", 

"aaid" : "248c3ab3-919b-4525-b6cc-2c662504235d", 

"appVersion" : "6.2.4", 

"dateTime" : ISODate("2018-12-18T04:32:55.000+0000"), 

"device" : "samsung", 

"id" : NumberInt(5712), 

"installReferrer" : "", 

"isFirstRun" : false, 

"json" : null, 

"language" : "KO", 

"mcc" : NumberInt(450), 

"mnc" : NumberInt(5), 

"model" : "SM-G885S", 

"notificationId" : NumberInt(0), 

"pixelHeight" : NumberInt(2094), 

"pixelWidth" : NumberInt(1080), 

"runningSecs" : NumberInt(0), 

"status" : "pageview", 

"udid" : "6b2be43d1f1fc05c", 

"userDoc" : "", 

"userIdGA" : "", 

"version" : "8.0.0 (26)", 

"wifi" : false, 

"pagename" : "com.mo2o.alsa.modules.passengers.presentation.form.FormPassengersActivity", 

"remoteAddr" : "223.62.215.198", 

"server" : "web26", 

"serverQueueuDateTime1" : "20181218053257", 

"serverQueueuDateTime2" : ISODate("2018-12-18T04:32:57.000+0000"), 

"apiVersion" : "2.0.0", 

"dateTime2" : "2018-12-18T13:32:55+0900"

}

Я ожидаю, что код правильно идентифицирует все поля и извлечет плохо сформированный JSON, у меня более 1 миллиона регистров с таким же форматом.Есть идеи?

Answer 1

Вместо того, чтобы рекомендовать вам написать еще один синтаксический анализатор JSON, я предлагаю вам вместо этого воспользоваться тем фактом, что Python является динамическим языком, для преобразования имеющихся у вас данных в действительный Python и заставить интерпретатор проанализировать его для вас. Чтобы продемонстрировать, что предложение в комментарии будет работать, попробуйте это

>>> NumberInt = int
>>> ObjectId = str
>>> ISODate = str      # I leave a lambda that calls time.strptime() as an exercise
>>> true = True
>>> false = False
>>> null = None
>>> mydict = eval("""{
"_id" : ObjectId("5c187d6caf0ffa6162eb4f5c"), 
"SDKVersion" : "6.1.7", 
"aaid" : "248c3ab3-919b-4525-b6cc-2c662504235d", 
"appVersion" : "6.2.4", 
"dateTime" : ISODate("2018-12-18T04:32:55.000+0000"), 
"device" : "samsung", 
"id" : NumberInt(5712), 
"installReferrer" : "", 
"isFirstRun" : false, 
"json" : null, 
"language" : "KO", 
"mcc" : NumberInt(450), 
"mnc" : NumberInt(5), 
"model" : "SM-G885S", 
"notificationId" : NumberInt(0), 
"pixelHeight" : NumberInt(2094), 
"pixelWidth" : NumberInt(1080), 
"runningSecs" : NumberInt(0), 
"status" : "pageview", 
"udid" : "6b2be43d1f1fc05c", 
"userDoc" : "", 
"userIdGA" : "", 
"version" : "8.0.0 (26)", 
"wifi" : false, 
"pagename" : "com.mo2o.alsa.modules.passengers.presentation.form.FormPassengersActivity", 
"remoteAddr" : "223.62.215.198", 
"server" : "web26", 
"serverQueueuDateTime1" : "20181218053257", 
"serverQueueuDateTime2" : ISODate("2018-12-18T04:32:57.000+0000"), 
"apiVersion" : "2.0.0", 
"dateTime2" : "2018-12-18T13:32:55+0900"
}""")

В результате вызова eval():

>>> mydict
{'userIdGA': '', 'device': 'samsung', 'mnc': 5, 'id': 5712, 'isFirstRun': False, 'serverQueueuDateTime1': '20181218053257', 'appVersion': '6.2.4', 'serverQueueuDateTime2': '2018-12-18T04:32:57.000+0000', 'json': None, 'version': '8.0.0 (26)', 'runningSecs': 0, 'userDoc': '', 'server': 'web26', 'status': 'pageview', 'SDKVersion': '6.1.7', 'mcc': 450, 'dateTime2': '2018-12-18T13:32:55+0900', 'pixelWidth': 1080, 'notificationId': 0, 'pixelHeight': 2094, 'language': 'KO', 'udid': '6b2be43d1f1fc05c', 'wifi': False, 'aaid': '248c3ab3-919b-4525-b6cc-2c662504235d', 'apiVersion': '2.0.0', 'dateTime': '2018-12-18T04:32:55.000+0000', 'installReferrer': '', 'pagename': 'com.mo2o.alsa.modules.passengers.presentation.form.FormPassengersActivity', 'model': 'SM-G885S', '_id': '5c187d6caf0ffa6162eb4f5c', 'remoteAddr': '223.62.215.198'}

И чтобы ответить на ваш вопрос о встроенном dict:

>>> mydict = eval("""{
"_id" : ObjectId("5c187d6caf0ffa6162eb4f5c"),
"SDKVersion" : "6.1.7",
"aaid" : "248c3ab3-919b-4525-b6cc-2c662504235d",
"appVersion" : "6.2.4",
"dateTime2" : "2018-12-18T13:32:55+0900",
"additional" : { "sell" : "Evento de compra" }
}""")

Это намеренно сокращенная версия вашего примера для экономии места. Это дает:

>>> mydict
{'SDKVersion': '6.1.7', 'additional': {'sell': 'Evento de compra'}, 'aaid': '248c3ab3-919b-4525-b6cc-2c662504235d', 'dateTime2': '2018-12-18T13:32:55+0900', 'appVersion': '6.2.4', '_id': '5c187d6caf0ffa6162eb4f5c'}