Может ли Azure синапс запрашивать AVRO? (EventHubs захватывают файлы)

Question

Вопрос

Hive имеет встроенную поддержку AVRO. Используя Azure Synapse (он же размещенная версия PolyBase), могу ли я использовать встроенный AVRO Serive Hive для запроса данных в хранилище ADL Gen2?

Сценарий

Я работаю в финансовой фирме, которая имеет много данных в формате FIX-Trading . Я создаю всплеск, чтобы попытаться запросить необработанные данные FIX из файлов FIX (исторические данные, годы) и сообщений FIX, пересылаемых через Azure Event Hubs (AEH, которые, я считаю, будут записаны в ADL Gen2 в формате AVRO, одна строка AVRO на каждое торговое сообщение FIX). Я начинаю с исторических файлов, которые «просто FIX».

Цитата Ominus

Из Synapse Внешняя таблица Документация :

Комбинации поддерживаемых методов SerDe с RCFiles и поддерживаемых методов сжатия данных перечислены ранее в этой статье. Поддерживаются не все комбинации.

Answer 1

Моя команда нашла более старый пост о том, как запрашивать данные FIX, используя Hive и Impala , и я пытаюсь выяснить, как применить это к Azure Synapse или Azure ноутбукам.

CREATE EXTERNAL TABLE fix_map
 (tag MAP< INT, STRING>)
 ROW FORMAT DELIMITED COLLECTION ITEMS
 TERMINATED BY ‘1’
 FIELDS TERMINATED BY ‘2’
 MAP KEYS TERMINATED BY ‘=’
 LOCATION ‘/user/jeremy/fix/’;

CREATE VIEW fix_view AS
    tag[38] AS OrderQty
  , tag[55] AS Symbol
  , tag[60] AS TransactTime
    fix_map;
    OrderQty
  , Symbol
  , TransactTime
FROM fix_view;

SELECT
    OrderQty
  , `Symbol`
  , TransactTime
FROM fix;