Потому что добавление не работает для строк. Вместо этого используйте CONCAT ():
UPDATE users2
SET picture = CONCAT('sites/site2/files/pictures/', picture)
WHERE pictures NOT IS NULL
Кроме того, обратите внимание, что в середине запроса у вас точка с запятой ... удалите ее или вы обновите все строки!