Таблицы, участвующие в удалении, объявляются в предложении DELETE, поэтому вы должны объявить только имя таблицы, в которой нужно удалить строки
Это следует удалить только из таблицы tbl1 на основании результатов сопоставления из таблиц соединения
DELETE tbl1
FROM tbl1
INNER JOIN tbl2 ON tbl1.post_id = 4001
and tbl1.terms_id = tbl2.terms_id
and tbl2.taxonomy = 'category'