Stateful и Stateless - это свойства EJB (сессионные компоненты, управляемые контейнером Java EE), а не что-либо специфическое для спецификации JPA.Боб Stateful будет иметь состояние, связанное с ним для каждого запроса от одного и того же клиента. Бессостоящие бины не имеют определенного состояния клиента, и один запрос может использоваться одновременно, потокобезопасным, между запросами нескольких клиентов.
JPA - это одна из стратегий персистентности, которую можно использовать для сохранения бинов с сохранением состояния (я полагаю, вы также можете использовать JDBC напрямую или подключить какую-то другую стратегию персистентности).