Вы можете сделать это, используя динамический sql:
declare @query varchar(max)
set @query = 'select * from MyTable where first_column = ''1'' ' +
@operator + ' second_column = ''2'''
exec (@query)
Иногда, когда логика утверждения достаточна, например:
select *
from MyTable
where (operator = 'AND' and first_column = '1' and second_column = '2')
or (operator = 'OR' and (first_column = '1' or second_column = '2'))