Нет простого способа с упомянутой вами структурой.Конечно, - это способ реализации триггеров, но это громоздко.
Альтернативная модель данных решает проблему, хотя:
create table things (
thingsId int auto_increment primary key,
name text,
type text,
. . .
check (type in ('group', 'user')),
unique (name)
);
Это ставит каждыйТип вещи в один столбец, а затем накладывает уникальное ограничение.