При записи данных из Hive в Oracle с использованием соединителя (Py) Spark JDB C у меня возникают проблемы с буферным кешем на Oracle. Так что мой вопрос, есть ли способ обойти oracle буферный кэш с использованием прямых вставок (как предложено здесь https://renenyffenegger.ch/notes/development/databases/Oracle/architecture/instance/SGA/database-buffer-cache/index). Мне было интересно, могу ли я просто использовать initSessionStatement, как описано в документации. https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html Что-то вроде option("sessionInitStatement", """BEGIN execute immediate 'alter session set "<DIRECT PATH INSERT PARAMETER?>"=true'; END;"""). Еще один подход, который меня интересует, может ли это сработать, использует искру sql для вставки в oracle, как описано в этом ответ что такое запрос Spark SQL SQL для записи в таблицу JDB C? с указанием /+ append +/ для прямой вставки пути. Кто-нибудь сталкивался с этой проблемой?
initSessionStatement
option("sessionInitStatement", """BEGIN execute immediate 'alter session set "<DIRECT PATH INSERT PARAMETER?>"=true'; END;""")
/+ append +/