Да, для ALTER потребуется эксклюзивная блокировка таблицы (включая блокировку доступа на запись в таблицу)
Однако продолжительность блокировки чрезвычайно мала и не зависит от размера таблицы,По сути, это только обновление внутренних системных таблиц.