У нас есть приложение, которое читает с шины сообщений и вставляет в Azure Synapse Analytics. Существует несколько экземпляров приложения, и каждый экземпляр является многопоточным. В каждом upsert может быть несколько сотен записей, а в таблицах назначения может быть несколько миллионов записей.
Synapse не поддерживает операции MERGE. Мы ищем решение лучше, чем двухэтапный DELETE - INSERT. Мы рассмотрели решения, включающие объединения таблиц и последующие переименования таблиц, такие как this .
Однако все эти решения имеют проблемы с производительностью и / или параллелизмом.
Не могли бы вы порекомендовать решение для внедрения в Azure Synapse Analytics из параллельных потоков данных.
Большое спасибо!