Try:
update table1 p
set TotalPay =
(
select case
when count(distinct e.item) = 1 then 100
when count(distinct e.item) = 2 then 150
when count(distinct e.item) = 3 then 200
when count(distinct e.item) = 4 then 225
when count(distinct e.item) = 5 then 275
when count(distinct e.item) = 6 then 325
when count(distinct e.item) = 7 then 375
when count(distinct e.item) = 8 then 450
when count(distinct e.item) = 8 then 470
end as TotalPay
from table2 e where p.id=e.itemid
and e.id = '111111'
)
Как было указано в комментариях, приведенное выше обновит все строки в table1, даже если в table2 нет совпадений, в которых для столбца будет установлено значение NULL.Чтобы избежать этого, добавьте предложение WHERE - см. Ответ OMGPonies.