Поиск друга в словаре с использованием расстояния Левенштейна - PullRequest
Новая
       27

Поиск друга в словаре с использованием расстояния Левенштейна

2 голосов
/ 16 июня 2011

Я пытаюсь сделать следующее.Два слова W1 и W2 являются друзьями, если Levenshtein distance для этих слов равно 1. Я должен также найти всех друзей друга.Я пытался сделать то же самое с Bk-Tree.Он работает для словаря небольшого размера (словарь содержит только одно слово в строке), но для словаря большего размера он сильно замедляется и работает более часа, но по-прежнему ничего не получается.

Ниже приведен мой код 

#include <string>
#include <vector>
#include <queue>
#include <fstream>  
#include <iostream>  
#include <algorithm>

class BkTree {
    public:
        BkTree();
        ~BkTree();
        void insert(std::string m_item);
        void get_friends(std::string center, std::deque<std::string>& friends);
    private:
        size_t EditDistance( const std::string &s, const std::string &t );
        struct Node {
            std::string m_item;
            size_t m_distToParent;
            Node *m_firstChild;
            Node *m_nextSibling;
            Node(std::string x, size_t dist);        
            bool visited;
            ~Node();
        };
        Node *m_root;
        int   m_size;
    protected:
};

BkTree::BkTree() {
    m_root = NULL; 
    m_size = 0;
}

BkTree::~BkTree() { 
    if( m_root ) 
        delete m_root; 
}

BkTree::Node::Node(std::string x, size_t dist) {
    m_item         = x;
    m_distToParent = dist;
    m_firstChild   = m_nextSibling = NULL;
    visited        = false;
}

BkTree::Node::~Node() {
    if( m_firstChild ) 
        delete m_firstChild;
    if( m_nextSibling ) 
        delete m_nextSibling;
}

void BkTree::insert(std::string m_item) {
    if( !m_root ){
        m_size = 1;
        m_root = new Node(m_item, -1);
        return;
    }
    Node *t = m_root;
    while( true ) {
        size_t d = EditDistance( t->m_item, m_item );
        if( !d ) 
            return;
        Node *ch = t->m_firstChild;
        while( ch ) {
            if( ch->m_distToParent == d ) { 
                t = ch; 
                break; 
            }
            ch = ch->m_nextSibling;
        }
        if( !ch ) {
            Node *newChild = new Node(m_item, d);
            newChild->m_nextSibling = t->m_firstChild;
            t->m_firstChild = newChild;
            m_size++;
            break;
        }
    }
}

size_t BkTree::EditDistance( const std::string &left, const std::string &right ) {
    size_t asize = left.size();
    size_t bsize = right.size();
    std::vector<size_t> prevrow(bsize+1);
    std::vector<size_t> thisrow(bsize+1);

    for(size_t i = 0; i <= bsize; i++)
        prevrow[i] = i;

    for(size_t i = 1; i <= asize; i ++) {
        thisrow[0] = i;
        for(size_t j = 1; j <= bsize; j++) {
            thisrow[j] = std::min(prevrow[j-1] + size_t(left[i-1] != right[j-1]), 
                    1 + std::min(prevrow[j],thisrow[j-1]) );
        }
        std::swap(thisrow,prevrow);
    }
    return prevrow[bsize];
}


void BkTree::get_friends(std::string center, std::deque<std::string>& flv) {
    if( !m_root ) return ;
    std::queue< Node* > q;
    q.push( m_root );

    while( !q.empty() ) {
        Node *t = q.front(); 
        q.pop();
        if ( !t ) continue;

        size_t d = EditDistance( t->m_item, center );
        if( d == 1 ) { 
            if ( t->visited == false ) {
                flv.push_back(t->m_item);
                t->visited = true;
            }
        }
        Node *ch = t->m_firstChild;
        q.push(ch);
        while( ch ) {
            if( ch->m_distToParent >=  1 )
                q.push(ch);
            ch = ch->m_nextSibling;
        }
    }
    return;
}

int main( int argc, char **argv ) {
    BkTree *pDictionary = new BkTree();

    std::ifstream dictFile("word.list");
    std::string line; 
    if (dictFile.is_open()) {
        while (! dictFile.eof() ) {               
            std::getline (dictFile,line);
            if ( line.size()) {
                pDictionary->insert(line);
            }
        }
        dictFile.close();
    }
    std::deque<std::string>  flq;
    pDictionary->get_friends("aa", flq);
    int counter = 0;
    while ( !flq.empty()) {
        counter++;
        std::string nf = flq.front();
        flq.pop_front();
        pDictionary->get_friends(nf, flq);
    } 
    std::cout << counter << std::endl;
    return 0;
}

Любые комментарии по поводу улучшения скорости или любой другой подходящей структуры данных.

Предположим, что мой словарь содержит следующее. 

aa
aah
aal
aam
aami
aamii
aaaaaaaaaaaaaaaaaaaaaaaaa

Я пытаюсь найтиsocial network из aa ответ 5. 

aa -> aah aal aam
aah -> aa, aal aam
aal -> aa, aah, aam
aam -> aa, aah, aal, aami
aami -> aam, aamii

ANSWER : -> aah + aal + aam + aami + aamii

1 Ответ

5 голосов
/ 16 июня 2011

Прочитайте Быстрое и простое расстояние Левенштейна, используя Trie для получения подробной информации об эффективном способе решения этой проблемы.

В вашем примере кода не является "другомдруг "редактировать расстояние 2 (или 0)?Вероятно, вы можете прекратить использовать поиск по глубине и просто сравнить, равно ли расстояние Левенштейна 0 или 2 (ноль означает, что редактирование «отменено» по второму соотношению, например, A -> B имеет расстояние редактирования 1, B ->C имеет расстояние редактирования 1, которое точно отменяет редактирование A -> B, давая расстояние редактирования ноль между A -> C).

Похоже, это также относится к загадкам word ladders .Отличная визуализация взрыва вариаций доступна здесь здесь .Я думаю, для вашего алгоритма вы хотите найти все пути между парами слов, которые имеют длину 2?Возможно, если выразить это в виде словосочетания, проблемы для всех пар дадут вам новый подход?

...