Пример.
В базе данных SQLite у меня есть таблица с двумя столбцами (id, name), id - это целое число и первичный ключ, а также auto_increment.
таблица имеет 1 миллиард строк.
моя функция, как показано ниже
rows = cur.execute("select name from table")
for n in rows:
v = some_function()
s = v.some_other_function(n)
if valid.found(s)
cur.execute("insert into other_table (name) VALUES (?)", [n])
else:
cur.execute("INSERT INTO another_table (name) VALUES (?)", [n])
...
Теперь мой вопрос: как я могу обрабатывать несколько строк в каждом прогоне и отслеживать записанные обработанные записи? например, с помощью задания cron, при каждом запуске я хочу обработать 100000 строк. Как я могу записать обработанные строки и начать со следующих строк в каждом прогоне?