Как strtok () разбивает строку на токены в C? - PullRequest
Новая
       89

Как strtok () разбивает строку на токены в C?

95 голосов
/ 08 октября 2010

Пожалуйста, объясните мне, как работает функция strtok(). В руководстве сказано, что она разбивает строку на токены.Я не могу понять из руководства, что на самом деле он делает.

Я добавил часы на str и *pch, чтобы проверить их работу, когда произошел первый цикл while, содержимое str было только"этот".Как выходные данные, показанные ниже, напечатаны на экране? 

/* strtok example */
#include <stdio.h>
#include <string.h>

int main ()
{
  char str[] ="- This, a sample string.";
  char * pch;
  printf ("Splitting string \"%s\" into tokens:\n",str);
  pch = strtok (str," ,.-");
  while (pch != NULL)
  {
    printf ("%s\n",pch);
    pch = strtok (NULL, " ,.-");
  }
  return 0;
}

Вывод: 

Splitting string "- This, a sample string." into tokens:
This
a
sample
string

Ответы [ 13 ]

1 голос
/ 05 марта 2017

Вот моя реализация, которая использует хеш-таблицу для разделителя, что означает O (n) вместо O (n ^ 2) (здесь ссылка на код) : 

#include<stdio.h>
#include<stdlib.h>
#include<string.h>

#define DICT_LEN 256

int *create_delim_dict(char *delim)
{
    int *d = (int*)malloc(sizeof(int)*DICT_LEN);
    memset((void*)d, 0, sizeof(int)*DICT_LEN);

    int i;
    for(i=0; i< strlen(delim); i++) {
        d[delim[i]] = 1;
    }
    return d;
}



char *my_strtok(char *str, char *delim)
{

    static char *last, *to_free;
    int *deli_dict = create_delim_dict(delim);

    if(!deli_dict) {
        /*this check if we allocate and fail the second time with entering this function */
        if(to_free) {
            free(to_free);
        }
        return NULL;
    }

    if(str) {
        last = (char*)malloc(strlen(str)+1);
        if(!last) {
            free(deli_dict);
            return NULL;
        }
        to_free = last;
        strcpy(last, str);
    }

    while(deli_dict[*last] && *last != '\0') {
        last++;
    }
    str = last;
    if(*last == '\0') {
        free(deli_dict);
        free(to_free);
        deli_dict = NULL;
        to_free = NULL;
        return NULL;
    }
    while (*last != '\0' && !deli_dict[*last]) {
        last++;
    }

    *last = '\0';
    last++;

    free(deli_dict);
    return str;
}

int main()
{
    char * str = "- This, a sample string.";
    char *del = " ,.-";
    char *s = my_strtok(str, del);
    while(s) {
        printf("%s\n", s);
        s = my_strtok(NULL, del);
    }
    return 0;
}
1 голос
/ 08 октября 2010

strtok заменяет символы во втором аргументе на NULL, а символ NULL также является концом строки.

http://www.cplusplus.com/reference/clibrary/cstring/strtok/

0 голосов
/ 08 мая 2018

Для тех, кому все еще трудно понять эту функцию strtok(), взгляните на этот пример pythontutor , это отличный инструмент для визуализации вашего C (или C ++, Python ...) код.

Если ссылка не работает, введите: 

#include <stdio.h>
#include <string.h>

int main()
{
    char s[] = "Hello, my name is? Matthew! Hey.";
    char* p;
    for (char *p = strtok(s," ,?!."); p != NULL; p = strtok(NULL, " ,?!.")) {
      puts(p);
    }
    return 0;
}

Кредиты поступают на Андерс К.

Страница:
...