У нас есть DataMart, хранящийся в среде Synaps Analyitics, в некоторых таблицах хранятся миллионы записей.
Наши ученые, работающие с данными, хотели бы использовать блоки данных для доступа, но я немного сомневаюсь, что как лучше всего сделать это доступным в Databricks.
Я изложу способы, которые я знаю, как я могу это сделать, но я уверен, что есть лучшие способы, и даже в разных отношениях я не знаю, 100% Я уверен, что лучший подход
Первый способ - просто определить кадры данных, но, насколько мне известно, каждая консультация / использование кадра данных приводит к выбору БД
Вторым способом может быть чтение их в Pandas наборы данных, но не уверен в производительности и совместном использовании.
Затем можно прочитать и сохранить их в DBFS таблиц Create, но там я немного упускаю идею , Держите в таблице данные или просто указывайте на файл в DBFS.
Так что, пожалуйста, несколько советов и, если возможно, пример кода.