Да, вам все еще нужно защитить свой API.
Ваш сервер предоставляет серверное приложение и JavaScript. JavaScript исполняется случайным клиентом (браузером пользователя).
Этот клиент больше не является вашим сервером и может быть любой машиной, включая самодельного злоумышленника, который может манипулировать запросами.
Если вы вносите какие-либо критические изменения в данные или доставляете личные данные, вам все равно придется реализовать какую-то аутентификацию и авторизацию. В какой форме зависит ваше заявление.