Хороший способ токенизации строки из файла без использования внешних библиотек? - PullRequest
Новая
       1

Хороший способ токенизации строки из файла без использования внешних библиотек?

0 голосов
/ 18 февраля 2012

Я пытаюсь токенизировать дамп базы данных, разделенный запятыми.Мне нужно только прочитать первое слово, которое скажет мне, нужна ли мне эта строка, а затем токенизировать строку и сохранить каждую отдельную строку в векторе.

У меня возникли проблемы с сохранением всех типов данных впорядок.Я использую метод getline: 

string line;
    vector<string> tokens;

// Iterate through each line of the file
while( getline( file, line ) )
{
    // Here is where i want to tokenize. strtok however uses a character array and not a string.
}

Дело в том, что я хочу продолжить чтение и токенизацию строки, только если первое слово - то, что я за ним.Вот пример строки из файла: 

example,1,200,200,220,10,550,550,550,0,100,0,-84,255

Итак, если я иду за примером строки, он идет вперед и маркирует оставшуюся часть строки для моего использования, а затем прекращает чтение из файла.

Стоит ли использовать strtok, stringstream или что-то еще?

Спасибо!

Ответы [ 3 ]

1 голос
/ 18 февраля 2012 
#include <iostream>
#include <fstream>
#include <vector>
using namespace std;

void do(ifstream& file) {
    string line;
    string prefix = "example,";

    // Get all lines from the file
    while (getline(file,line).good()) {
        // Compare the beginning for your prefix
        if (line.compare(0, prefix.size(), prefix) == 0) {
            // Homemade tokenization
            vector<string> tokens;
            int oldpos = 0;
            int pos;
            while ((pos = line.find(',', oldpos)) != string::npos) {
                tokens.push_back(line.substr(oldpos, pos-oldpos));
                oldpos = pos + 1;
            }
            tokens.push_back(line.substr(oldpos)); // don't forget the last bit
            // And here you are!
        }
    }
}
0 голосов
/ 15 января 2015

Tokenizer.h 

#ifndef TOKENIZER_H
#define TOKENIZER_H

#include <string>
#include <vector>
#include <sstream>

class Tokenizer
{
public:
    Tokenizer();
    ~Tokenizer();
    void Tokenize(std::string& str, std::vector<std::string>& tokens);
};

#endif /* TOKENIZER_H */

Tokenizer.cpp 

#include "Tokenizer.h"

using namespace std;

string seps(string& s) {
    if (!s.size()) return "";
    stringstream ss;
    ss << s[0];
    for (int i = 1; i < s.size(); i++)
        ss << '|' << s[i];
    return ss.str();
}

void tok(string& str, vector<string>& tokens, const string& delimiters = ",")
{
    seps(str);

    string::size_type lastPos = str.find_first_not_of(delimiters, 0);
    string::size_type pos = str.find_first_of(delimiters, lastPos);

    while (string::npos != pos || string::npos != lastPos)
    {
        tokens.push_back(str.substr(lastPos, pos - lastPos));
        lastPos = str.find_first_not_of(delimiters, pos);
        pos = str.find_first_of(delimiters, lastPos);
    }
}

Tokenizer::Tokenizer()
{
}

void Tokenizer::Tokenize(string& str, vector<string>& tokens)
{
    tok(seps(str), tokens);
}

Tokenizer::~Tokenizer()
{
}

Для токенизации строки 

#include "Tokenizer.h"
#include <string>
#include <vector>
#include <iostream>
#include <cstdlib>

using namespace std;

int main()
{
    // Required variables for later below
    vector<string> t;
    string s = "This is one string,This is another,And this is another one aswell.";
    // What you need to include:
    Tokenizer tokenizer;
    tokenizer.Tokenize(s, t); // s = a string to tokenize, t = vector to store tokens
    // Below is just to show the tokens in the vector<string> (c++11+)
    for (auto c : t)
        cout << c << endl;
    system("pause");
    return 0;
}
0 голосов
/ 18 февраля 2012

Как токенизировать строку в C ++?

http://www.daniweb.com/software-development/cpp/threads/27905

Надеюсь, это поможет, хотя я не опытный программист C / C ++. Для записи было бы неплохо, если бы вы указали в используемых вами тегах или на языке сообщений.

...