Возможно, что-то вроде этих строк:
UPDATE tablename SET columnname = TRIM(LEADING '<p>' FROM TRIM(TRAILING '</p>' FROM columnname));
Это может быть быстрее:
UPDATE tablename SET columnname = TRIM(LEADING '<p>' FROM TRIM(TRAILING '</p>' FROM columnname)) WHERE columnname LIKE '<p>%</p>';
Ссылки:
TRIM (и другие строковые функции)
LIKE (и другие операторы сравнения строк)