Вы должны установить внешний ключ в столбце ContactId в соединительной таблице contactGroup, которая ссылается на идентификатор соответствующей записи в таблице Group.Включив опцию ON DELETE CASCADE в объявлении внешнего ключа, вы получите именно то поведение, которое ожидаете: всякий раз, когда запись удаляется в таблице Group, дочерние записи в contactGroup автоматически удаляются какну.
Вы, вероятно, хотите того же поведения для столбца ContactId в groupContact, который ссылается на таблицу контактов.
Пример DDL:
CREATE TABLE track(
GroupId INTEGER,
ContactId INTEGER,
FOREIGN KEY(GroupId) REFERENCES Group(Id ) ON DELETE CASCADE,
FOREIGN KEY(ContactId) REFERENCES Contact(Id ) ON DELETE CASCADE
);