Я пытаюсь обработать CSV-файлы, которые содержат более 20000 сведений о пациенте. Всего 50 столбцов, и каждый пациент будет иметь несколько строк в качестве почасовых данных Большинство столбцов относятся к типу ресурса Observation. Как частота сердечных сокращений, температура, кровяное давление.
Я успешно преобразовал данные в формат FHIR. однако, когда я пытаюсь извлечь данные * на сервере FHIR, сервер выдает ошибку, говорящую, что максимум 500 записей разрешены только для данных.
Даже если я жду до 500 записей и пу sh файла json, это займет довольно много времени, чтобы покрыть 20000 * 50. Есть ли эффективный способ массовой вставки данных на сервер azure fhir?
В настоящее время я использую следующий код. Но, похоже, это займет довольно много времени и ресурсов. Поскольку в моем файле CSV есть около 0,7 миллиона строк.
def export_template(self, template):
if self.export_max_500 is None:
self.export_max_500 = template
else:
export_max_500_entry = self.export_max_500["entry"]
template_entry = template["entry"]
self.export_max_500["entry"] = export_max_500_entry + template_entry
if len(self.export_max_500["entry"]) > 500:
template["entry"] = self.export_max_500["entry"][:495]
self.export_max_500["entry"] = self.export_max_500["entry"][495:]
self.send_to_server(template)