Сценарии Python с ete3 для запроса таксономии NCBI: «Предупреждение sqlite3 (может выполняться только один оператор за раз)» - PullRequest
Новая
       35

Сценарии Python с ete3 для запроса таксономии NCBI: «Предупреждение sqlite3 (может выполняться только один оператор за раз)»

0 голосов
/ 29 ноября 2018

Я использую этот сценарий: 

import csv
import time
import sys
from ete3 import NCBITaxa

ncbi = NCBITaxa()

def get_desired_ranks(taxid, desired_ranks):
    lineage = ncbi.get_lineage(taxid)   
    names = ncbi.get_taxid_translator(lineage)
    lineage2ranks = ncbi.get_rank(names)
    ranks2lineage = dict((rank,taxid) for (taxid, rank) in lineage2ranks.items())
    return{'{}_id'.format(rank): ranks2lineage.get(rank, '<not present>') for rank in desired_ranks}

if __name__ == '__main__':
    file = open(sys.argv[1], "r")    
    taxids = []
    contigs = []
    for line in file:
        line = line.split("\n")[0]
        taxids.append(line.split(",")[0])
        contigs.append(line.split(",")[1])

    desired_ranks = ['superkingdom', 'phylum']
    results = list()
    for taxid in taxids:
        results.append(list())
        results[-1].append(str(taxid))
        ranks = get_desired_ranks(taxid, desired_ranks)
        for key, rank in ranks.items():
            if rank != '<not present>':
                results[-1].append(list(ncbi.get_taxid_translator([rank]).values())[0])
            else:
                results[-1].append(rank)

    i = 0
    for result in results:
        print(contigs[i] + ','),
        print(','.join(result))
        i += 1

    file.close()

Сценарий берет таксиды из файла и извлекает их соответствующие линии из локальной копии базы данных таксономии NCBI.Странно, но этот скрипт отлично работает, когда я запускаю его на небольших наборах таксидов (~ 70, ~ 100), но большинство моих наборов данных превышает 280 тысяч такс, и они ломают скрипт.

Я получаю эту полную ошибку: 

Traceback (most recent call last):
  File "/data1/lstout/blast/scripts/getLineageByETE3.py", line 31, in <module>
    ranks = get_desired_ranks(taxid, desired_ranks)
  File "/data1/lstout/blast/scripts/getLineageByETE3.py", line 11, in get_desired_ranks
    lineage = ncbi.get_lineage(taxid)   
  File "/data1/lstout/.local/lib/python2.7/site-packages/ete3/ncbi_taxonomy/ncbiquery.py", line 227, in get_lineage
    result = self.db.execute('SELECT track FROM species WHERE taxid=%s' %taxid)
sqlite3.Warning: You can only execute one statement at a time.

Первые два файла из трассировки - это просто скрипт, на который я ссылался выше, третий файл - один из ete3.И, как я уже говорил, скрипт отлично работает с небольшими наборами данных.

Что я пробовал:

  • Импорт модуля времени и ожидания в течение нескольких миллисекунд /сотые доли секунды до / после моих оскорбительных строк кода в строках 11 и 31. Безрезультатно.

  • Переход на строку 227 в коде ete3 ... 

    result = self.db.execute('SELECT track FROM species WHERE taxid=%s' %merged_conversion[taxid])

и изменил функцию «execute» на «executetescript», чтобы можно было обрабатывать несколько запросов одновременно (так как это кажется проблемой).Это породило новую ошибку и привело к тому, что я заменил мелкие вещи в их сценарии, пытаясь заставить это работать.Безрезультатно.Это полная оскорбительная функция: 

    def get_lineage(self, taxid):
    """Given a valid taxid number, return its corresponding lineage track as a
    hierarchically sorted list of parent taxids.
    """
    if not taxid:
        return None
    result = self.db.execute('SELECT track FROM species WHERE taxid=%s' %taxid)
    raw_track = result.fetchone()
    if not raw_track:
        #perhaps is an obsolete taxid
        _, merged_conversion = self._translate_merged([taxid])
        if taxid in merged_conversion:
            result = self.db.execute('SELECT track FROM species WHERE taxid=%s' %merged_conversion[taxid])
            raw_track = result.fetchone()
        # if not raise error
        if not raw_track:
            #raw_track = ["1"]
            raise ValueError("%s taxid not found" %taxid)
        else:
            warnings.warn("taxid %s was translated into %s" %(taxid, merged_conversion[taxid]))

    track = list(map(int, raw_track[0].split(",")))
    return list(reversed(track))

Что меня так беспокоит, так это то, что это работает с небольшими объемами данных!Я запускаю эти сценарии с высокопроизводительного компьютера моей школы и пробовал запускать их на головном узле и в интерактивном планировщике moab.Ничего не помогло.

...