У меня есть код ниже для чтения данных CSV и вставки их в базу данных. Теперь я пытаюсь передавать данные CSV и постоянно загружать в базу данных. Если в файл CSV добавляется какая-либо новая запись, она должна автоматически загружаться в базу данных. Я пробовал использовать потоковую передачу искр, но она не поддерживает потоковую передачу того же файла. Если в папку поместить новый файл с таким же шаблоном файла, он загрузит данные в базу данных. Есть ли у нас какой-либо вариант в python, где он постоянно смотрит файл, и если в файл добавляется какая-либо новая запись, данные должны быть загружены в базу данных.
Ниже мой код,
with open('C:/Hadoop/Data/Job.csv', 'r') as file:
reader = csv.reader(file, delimiter = '\t')
for messages in reader:
#Operations to load into the table