Вы можете использовать rowid
:
DELETE from tableA
WHERE elementA = (
SELECT elementA from tableB
WHERE rowid = (SELECT MAX(rowid) FROM tableB)
)
При условии, что elementA уникален в обеих таблицах, если он выполняется после вашего оператора INSERT, он найдет elementA из вставленной строки и удалит строку из TableA с этим элементом A.