Azure Функции с Transfer-Encoding, установленным на фрагменты

Question

У меня есть функция azure (https://github.com/MCKRUZ/CSVXLS2JSON), которая должна принимать файлы csv, xls или zip и переводить этот документ в json. Теперь проблема, с которой я сталкиваюсь, - это двойная

Во-первых, если я попытаюсь загрузить файл размером более 100 МБ, он скажет мне, что файл слишком большой. Я обошел это, позволив вам загрузить zip-файл, который функция распакует, а затем обработает. Однако в результате выходящая полезная нагрузка JSON слишком велика. Я «думал» обойти это, разрешив настройку Transfer-Encoding на фрагменты, но я не смог найти в Интернете НИКАКОЙ документации о том, как sh это сделать.

Есть мысли?

Answer 1

Думаю, это скорее вопрос дизайна:

1. Вы можете принять URL-адрес в качестве входных данных вместо содержимого файла. Таким образом, вы не ограничены размером полезной нагрузки. URL-адресом может быть любой URL-адрес, указывающий на datalake / внешний источник с / без токенов аутентификации.
2. Также возвращать сжатые результаты. Не эксперт по C#, но большинство достойных языков позволят вам создать сжатый поток ввода / вывода. Чтение из сжатого входного потока, преобразование в json и запись в сжатый выходной поток. Вернуть содержимое выходного потока в конце.
3. Вернуть результат в виде URL. Напишите результат, который у вас есть (например, datalake), и верните ему URL-адрес. С / без авторизации.