Как загрузить файлы в пакет в расширении CKAN? - PullRequest
Новая
       16

Как загрузить файлы в пакет в расширении CKAN?

0 голосов
/ 08 мая 2019

Я собираюсь сделать следующее в CKAN: Когда новый пакет добавляется с Excel в нем, я конвертирую отдельные листы в .csv и добавляю их в пакет.

Я делаю это с помощью плагина, используя функцию уведомления. Код расширения исключен, и файлы .csv добавлены правильно, но все равно я получаю сообщение об ошибке, которое не могу устранить: 

ckan          | 2019-05-08 11:44:09,640 ERROR [ckan.model.modification] 'NoneType' object has no attribute 'transaction'
ckan          | Traceback (most recent call last):
ckan          |   File "/usr/lib/ckan/venv/src/ckan/ckan/model/modification.py", line 77, in notify
ckan          |     observer.notify(entity, operation)
ckan          |   File "/usr/lib/ckan/venv/lib/python2.7/site-packages/ckanext_pxconverter-0.0.1-py2.7.egg/ckanext/pxconverter/plugin.py", line 53, in notify
ckan          |     convert_px_data(entity, resources)
ckan          |   File "/usr/lib/ckan/venv/lib/python2.7/site-packages/ckanext_pxconverter-0.0.1-py2.7.egg/ckanext/pxconverter/converter.py", line 134, in convert_px_data
ckan          |     upload_file(registry, os.path.join(tmpdir, "px_run_info.csv"), api_key, package_id=package.id, name="px_run_info.csv")
ckan          |   File "/usr/lib/ckan/venv/lib/python2.7/site-packages/ckanext_pxconverter-0.0.1-py2.7.egg/ckanext/pxconverter/converter.py", line 56, in upload_file
ckan          |     name=data['name'])
ckan          |   File "/usr/lib/ckan/venv/local/lib/python2.7/site-packages/ckanapi/common.py", line 50, in action
ckan          |     files=files)
ckan          |   File "/usr/lib/ckan/venv/local/lib/python2.7/site-packages/ckanapi/localckan.py", line 71, in call_action
ckan          |     return self._get_action(action)(context, data_dict)
ckan          |   File "/usr/lib/ckan/venv/src/ckan/ckan/logic/__init__.py", line 464, in wrapped
ckan          |     result = _action(context, data_dict, **kw)
ckan          |   File "/usr/lib/ckan/venv/src/ckan/ckan/logic/action/create.py", line 329, in resource_create
ckan          |     model.repo.commit()
ckan          |   File "/usr/lib/ckan/venv/local/lib/python2.7/site-packages/vdm/sqlalchemy/tools.py", line 107, in commit
ckan          |     self.session.commit()
ckan          |   File "/usr/lib/ckan/venv/local/lib/python2.7/site-packages/sqlalchemy/orm/scoping.py", line 157, in do
ckan          |     return getattr(self.registry(), name)(*args, **kwargs)
ckan          |   File "/usr/lib/ckan/venv/local/lib/python2.7/site-packages/sqlalchemy/orm/session.py", line 906, in commit
ckan          |     self.transaction.commit()
ckan          |   File "/usr/lib/ckan/venv/local/lib/python2.7/site-packages/sqlalchemy/orm/session.py", line 461, in commit
ckan          |     self._prepare_impl()
ckan          |   File "/usr/lib/ckan/venv/local/lib/python2.7/site-packages/sqlalchemy/orm/session.py", line 432, in _prepare_impl
ckan          |     stx = self.session.transaction
ckan          | AttributeError: 'NoneType' object has no attribute 'transaction'

Я использую следующий код в функции convert_xlsx для загрузки файла CSV: 

from ckanapi import LocalCKAN

registry = LocalCKAN()

registry.action.resource_create(
        package_id=data['package_id'],
        url='dummy-value',
        upload=open(csv_file_path, 'rb'),
        name=data['name'])

Чтобы код в plugin.py выглядел так: 

def notify(self, entity, operation=None):
    if isinstance(entity, model.Package):
        if operation != 'deleted':
            resources = entity.resources_all
            log.debug(resources)
            convert_xlsx(entity, resources)

Есть предложения?

1 Ответ

0 голосов
/ 11 мая 2019

Когда добавляется новый пакет, CKAN создает объект Package.Он запускает транзакцию (vdm.sqlalchemy.new_revision ()), но перед тем, как зафиксировать ее, он вызывает наблюдатель.notify () для любых слушателей, как мы видим в трассировке стека.Во время этого уведомления ваш код вызывает resource_create (), который снова запускает транзакцию (плохо), а затем фиксирует ее.Где-то здесь транзакция / сессия / vdm испортилась, и вы видите ошибку, которую видите: 

File "/usr/lib/ckan/venv/local/lib/python2.7/site-packages/sqlalchemy/orm/session.py", line 432, in _prepare_impl
     stx = self.session.transaction
 AttributeError: 'NoneType' object has no attribute 'transaction'

Решение в notify (), чтобы поставить в очередь фоновое задание, которое выполняет resource_create.Таким образом, вы вносите изменения в модель в отдельный сеанс / транзакцию.https://docs.ckan.org/en/2.8/maintaining/background-tasks.html

...