Экспорт данных из облака QlikSense в AWS S3 корзину

Question

Я пытаюсь создать конвейер для экспорта данных приложения Qliksense в AWS корзину S3, но не уверен, что смогу сделать это напрямую.

Два варианта, которые я пробовал:

1. Используйте API экспорта для экспорта данных в виде qvf на локальный диск, затем подключитесь к S3 через скрипт python и pu sh данные.

2. Сохраните данные как csv, используя скрипт qliksense локально, а затем pu sh в S3.

В принципе, моим идеальным решением было бы использование одного python сценария для подключения к Qliksense, чтения данных, преобразования в csv и экспорта в S3.

Любые идеи / код / ​​подход были бы полезны.

Answer 1

Qliksense - это инструмент для потребления данных и отображения в целом, но когда есть необходимость,

STORE INTO vFile (text);

- это простой вариант. Таким образом, вы получите CSV-файл, сохраненный на диске. Если вы выполняете сценарий python на той же машине, это просто, поскольку вы можете выполнить оператор EXECUTE, который может запустить сценарий python и сохранить его в s3 с помощью библиотеки boto3.

В противном случае просто используйте вместо этого сетевой диск, а затем в cron поместите данные оттуда через python в s3.

Последний вариант заключается в том, что на сервере qliksense вы можете отобразить корзину s3. Для этого есть несколько инструментов, таких как TnTDrive.

Очень многое зависит от вашей инфраструктуры.