Сжатие базы данных SQLite выполняется с помощью команды VACUUM; (просто запустите ее как запрос с sqlite3_exec, если вы используете API или непосредственно в консоли).
Вы можете также установить базу данных на autovacuum , но это ужасно замедлит все модификации. Лучше выполнять свои операции, а затем запускать команду вакуума, если это необходимо, но это вопрос мнения.