Я довольно новичок в Hibernate и PostgreSQL, но пока все идет хорошо, хотя сейчас я сталкиваюсь с проблемой, которую не могу решить. Я получаю сообщение об ошибке при заполнении базы данных при самой первой операции (одной транзакции, вставляющей или обновляющей 1000 строк в базе данных). Ошибка:
SQL Error: 0, SQLState: 53300
FATAL: sorry, too many clients already
Exception in thread "main" org.hibernate.exception.GenericJDBCException: Cannot open connection
Это важный код:
@Repository
public class PDBFinderDAO extends GenericDAO<PDBEntry> implements IPDBFinderDAO {
@Override
@Transactional
public void updatePDBEntry(Set<PDBEntry> pdbEntrySet) {
for (PDBEntry pdbEntry : pdbEntrySet) {
getCurrentSession().saveOrUpdate(pdbEntry);
}
}
}
getCurrentSession () расширяется из GenericDAO и вызывает sessionFactory.getCurrentSession ().
Это моя конфигурация Hibernate:
<!DOCTYPE hibernate-configuration PUBLIC "-//Hibernate/Hibernate Configuration DTD 3.0//EN" "http://hibernate.sourceforge.net/hibernate-configuration-3.0.dtd">
<hibernate-configuration>
<session-factory>
<!-- Database connection settings -->
<property name="hibernate.connection.driver_class">org.postgresql.Driver</property>
<property name="hibernate.dialect">org.hibernate.dialect.PostgreSQLDialect</property>
<property name="hibernate.connection.url">jdbc:postgresql://localhost/PDBeter</property>
<property name="hibernate.connection.username">xxxx</property>
<property name="hibernate.connection.password">xxxx</property>
<!-- Create or update the database schema on startup -->
<property name="hbm2ddl.auto">create</property>
<!-- Use the C3P0 connection pool provider -->
<property name="hibernate.c3p0.min_size">5</property>
<property name="hibernate.c3p0.max_size">20</property>
<property name="hibernate.c3p0.timeout">300</property>
<property name="hibernate.c3p0.max_statements">50</property>
<property name="hibernate.c3p0.idle_test_period">300</property>
<!-- Disable the second-level cache -->
<property name="cache.provider_class">org.hibernate.cache.NoCacheProvider</property>
<!-- Batch size -->
<property name="hibernate.jdbc.batch_size">50</property>
<!-- this makes sure the more efficient new id generators are being used,
though these are not backwards compatible with some older databases -->
<property name="hibernate.id.new_generator_mappings">true</property>
<!-- Echo all executed SQL to stdout -->
<!--
<property name="hibernate.show_sql">true</property>
-->
<property name="format_sql">true</property>
<property name="use_sql_comments">true</property>
</session-factory>
</hibernate-configuration>
Это моя конфигурация Spring:
<beans xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns="http://www.springframework.org/schema/beans"
xmlns:aop="http://www.springframework.org/schema/aop"
xmlns:context="http://www.springframework.org/schema/context"
xmlns:tx="http://www.springframework.org/schema/tx"
xmlns:task="http://www.springframework.org/schema/task"
xsi:schemaLocation="
http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-3.0.xsd
http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.0.xsd
http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-3.0.xsd
http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-3.0.xsd
http://www.springframework.org/schema/task http://www.springframework.org/schema/task/spring-task-3.0.xsd">
<context:component-scan base-package="nl.ru.cmbi.pdbeter" />
<!-- Transaction Manager -->
<bean id="transactionManager"
class="org.springframework.orm.hibernate3.HibernateTransactionManager">
<property name="sessionFactory" ref="sessionFactory" />
</bean>
<tx:annotation-driven />
<!-- Session Factory -->
<bean id="sessionFactory"
class="org.springframework.orm.hibernate3.annotation.AnnotationSessionFactoryBean">
<property name="configLocation" value="hibernate.cfg.xml" />
<property name="packagesToScan" value="nl.ru.cmbi.pdbeter.core.model.domain" />
</bean>
<!-- Task Executor -->
<task:annotation-driven />
</beans>
Я не совсем уверен, что происходит не так, это должно открывать только одно соединение каждый раз, а затем закрывать его, разве это не то, что должен делать @Transactional? Кроме того, есть ли простой способ проверить, сколько соединений открыто в определенное время, чтобы я мог до и после ошибки узнать, сколько соединений было открыто?
РЕДАКТИРОВАТЬ: когда я проверяю базу данных, ничего не было добавлено, поэтому она не может даже установить одно соединение, что здесь не так?
РЕДАКТИРОВАТЬ: Извините, но я уже решил это сам. Это была очень глупая ошибка, был очень маленький запрос, использующий критерии, которые также выполнялись 1000 раз, но этот был выполнен до транзакции, в результате чего он выполнялся в 1000 отдельных транзакциях / сеансах / соединениях (я думаю, правильно мне, если я ошибаюсь!)
РЕДАКТИРОВАТЬ: хорошо, оказывается, что это не решило вообще, потому что мне нужно было этот небольшой запрос, чтобы увидеть, что-то уже есть в базе данных, и если так, получить этот объект из базы данных, чтобы я мог обновить его поля / колонки / как вы хотите это назвать.
Это метод в GenericDAO:
@Override
public PDBEntry findByAccessionCode(String accessionCode) {
return (PDBEntry) createCriteria(Restrictions.eq("accessionCode", accessionCode)).uniqueResult();
}
Существует функция, которая создает сопоставленные объекты, которых нет в DAO, поскольку она преобразует необработанный файл данных в объект базы данных, поэтому я хотел не допустить этого в операции базы данных и поместить только функцию saveOrUpdate () в модуль базы данных. Теперь у меня проблема в том, что findByAccessionCode () вызывается 1000 раз при преобразовании файла необработанных данных в объекты базы данных, потому что мне нужно проверить, присутствует ли определенный фрагмент данных в базе данных, и если да, получить объект из базы данных вместо создания нового.
Теперь, как мне выполнить этот запрос 1000 раз внутри одного соединения в этом контексте? Я пытался создать метод преобразования, который преобразует 1000 файлов @transactional, но это не сработало.
Вот метод преобразования:
private void updatePDBSet(Set<RawPDBEntry> RawPDBEntrySet) {
Set<PDBEntry> pdbEntrySet = new LinkedHashSet<PDBEntry>();
for (RawPDBEntry pdb : RawPDBEntrySet) {
PDBEntry pdbEntry = pdbEntryDAO.findByAccessionCode(pdb.id);
if (pdbEntry == null) {
pdbEntry = new PDBEntry(pdb.id, pdb.header.date);
}
pdbEntry.setHeader(pdb.header.header);
ExpMethod expMethod = new ExpMethod.Builder(pdbEntry, pdb.expMethod.expMethod.toString()).build();
if (pdb.expMethod.resolution != null) {
expMethod.setResolution(pdb.expMethod.resolution);
}
if (pdb.expMethod.rFactor != null) {
expMethod.setRFactor(pdb.expMethod.rFactor.rFactor);
if (pdb.expMethod.rFactor.freeR != null) {
expMethod.setFreeR(pdb.expMethod.rFactor.freeR);
}
}
if (pdb.hetGroups != null) {
for (PFHetId hetId : pdb.hetGroups.hetIdList) {
HetGroup hetGroup = new HetGroup(pdbEntry, hetId.hetId);
if (hetId.nAtom != null) {
hetGroup.setNAtom(hetId.nAtom);
}
if (hetId.name != null) {
hetGroup.setName(hetId.name);
}
}
}
for (PFChain chain : pdb.chainList) {
new Chain(pdbEntry, chain.chain);
}
pdbEntrySet.add(pdbEntry);
}
pdbFinderDAO.updatePDBEntry(pdbEntrySet);
}
(я изначально думал, что проблема возникла в pdbFinderDAO.updatePDBEntry (pdbEntrySet))
РЕДАКТИРОВАТЬ: Прежде всего извините, что я создал этот новый пост, я действительно думал, что нашел ответ, но я просто продолжу в этом посте для дальнейших правок.
Хорошо, теперь я поместил все критерии 1000 findAccessionCode в DAO, отправив набор файлов необработанных данных в DAO, чтобы он мог получить идентификаторы там, затем найти их в базе данных, получить те, которые он может найти, и добавив его в HashMap, где объект базы данных отображается со ссылкой на файл необработанных данных в качестве ключа (поэтому я знаю, какие необработанные данные принадлежат какой записи базы данных). Эту функцию я сделал @Transactional примерно так:
@Override
@Transactional
public Map<RawPDBEntry, PDBEntry> getRawPDBEntryToPDBEntryMap(Set<RawPDBEntry> rawPDBEntrySet) {
Map<RawPDBEntry, PDBEntry> RawPDBEntryToPDBEntryMap = new HashMap<RawPDBEntry, PDBEntry>();
for (RawPDBEntry pdb : rawPDBEntrySet) {
RawPDBEntryToPDBEntryMap.put(pdb, (PDBEntry) createCriteria(Restrictions.eq("accessionCode", pdb.id)).uniqueResult());
}
return RawPDBEntryToPDBEntryMap;
}
Тем не менее, безуспешно ... Я получаю точно такую же ошибку, но она говорит мне, что это критерии, которые ее вызывают. Почему я не могу выполнить все эти 1000 запросов в одном соединении?
РЕДАКТИРОВАТЬ: еще одно обновление: я пытался добавить все запросы 1 к 1, и это работало, медленно, но это работало. Я сделал это на пустой базе данных. Затем я попробовал то же самое, но теперь база данных уже содержала материал с первой попытки, и я получил следующую ошибку:
Exception in thread "main" org.hibernate.HibernateException: Illegal attempt to associate a collection with two open sessions
Я предполагаю, что это как-то связано с тем, что я получаю объекты (которые уже есть в базе данных и поэтому должны быть обновлены) в DAO, затем отправляю ссылки обратно в метод преобразования, затем изменив их поля, а затем отправив их обратно в DAO, чтобы сделать их постоянными. Хотя, немного погуглив, я нашел людей, у которых были проблемы с коллекциями в их POJO с аннотацией:
@ OneToMany (mappedBy = "pdbEntry", каскад = CascadeType.ALL, fetch = FetchType.LAZY)
, где каскад вызвал проблему. Нужно ли удалять все эти каскады и жестко кодировать операции saveOrUpdate () для всех различных сопоставленных объектов? Или это не имеет ничего общего с этой ошибкой?
И, наконец: я все еще не могу понять, как сделать это для 1000 объектов одновременно.