Tokenize a String em C++

Jinku Hu 12 outubro 2023
  1. Utilizar as funções find e substr para Tokenize uma string em C++
  2. Utilize as funções std::stringstream e getline para Tokenize uma String em C++
  3. Utilizar o istringstream e o copy Algoritmo para Tokenize a String em C++
Tokenize a String em C++

Este artigo irá explicar vários métodos de como assinalar uma string em C++.

Utilizar as funções find e substr para Tokenize uma string em C++

A classe std::string tem uma função integrada de find para procurar uma sequência de caracteres num determinado objecto string. A função find retorna a posição do primeiro caractere encontrado na string e retorna npos se não for encontrado. A função find é inserida na declaração f para iterar sobre string até ser extraído o último símbolo da string.

Note que um utilizador pode especificar qualquer delimitador de tipo string e passá-lo para o método find. As fichas são empurradas para o vector das strings e a parte já processada é removida com a função erase() em cada iteração.

#include <algorithm>
#include <iostream>
#include <iterator>
#include <string>
#include <vector>

using std::cin;
using std::cout;
using std::endl;
using std::string;
using std::vector;

string text = "Think you are escaping and run into yourself.";
int main() {
  string delim = " ";
  vector<string> words{};

  size_t pos = 0;
  while ((pos = text.find(delim)) != string::npos) {
    words.push_back(text.substr(0, pos));
    text.erase(0, pos + delim.length());
  }
  if (!text.empty()) words.push_back(text.substr(0, pos));
  for (const auto &str : words) {
    cout << str << endl;
  }

  return EXIT_SUCCESS;
}

Resultado:

Think
you
are
escaping
and
run
into
yourself.

Utilize as funções std::stringstream e getline para Tokenize uma String em C++

O stringstream pode ser utilizado para ingerir um string a ser processado e utilizar getline para extrair fichas até ser encontrado o delimitador dado. Note-se que este método só funciona com delimitadores de um único carácter.

#include <algorithm>
#include <iostream>
#include <iterator>
#include <sstream>
#include <string>
#include <vector>

using std::cin;
using std::cout;
using std::endl;
using std::istringstream;
using std::string;
using std::stringstream;
using std::vector;

int main() {
  string text = "Think you are escaping and run into yourself.";
  char del = ' ';
  vector<string> words{};

  stringstream sstream(text);
  string word;
  while (std::getline(sstream, word, del)) words.push_back(word);

  for (const auto &str : words) {
    cout << str << endl;
  }

  return EXIT_SUCCESS;
}

Resultado:

Think
you
are
escaping
and
run
into
yourself.

Utilizar o istringstream e o copy Algoritmo para Tokenize a String em C++

Em alternativa, podemos utilizar a função copy a partir do cabeçalho <algorithm> e extrair fichas de strings em delimitadores de espaço branco. No exemplo que se segue, apenas iteramos e transmitimos os tokens para a saída padrão. Para processar a string com o método copy, inserimo-la em istringstream e utilizamos os seus iteradores.

#include <algorithm>
#include <iostream>
#include <iterator>
#include <sstream>
#include <string>
#include <vector>

using std::cin;
using std::cout;
using std::endl;
using std::istringstream;
using std::string;
using std::stringstream;
using std::vector;

int main() {
  string text = "Think you are escaping and run into yourself.";
  string delim = " ";
  vector<string> words{};

  istringstream iss(text);
  copy(std::istream_iterator<string>(iss), std::istream_iterator<string>(),
       std::ostream_iterator<string>(cout, "\n"));

  return EXIT_SUCCESS;
}

Resultado:

Think
you
are
escaping
and
run
into
yourself.
Autor: Jinku Hu
Jinku Hu avatar Jinku Hu avatar

Founder of DelftStack.com. Jinku has worked in the robotics and automotive industries for over 8 years. He sharpened his coding skills when he needed to do the automatic testing, data collection from remote servers and report creation from the endurance test. He is from an electrical/electronics engineering background but has expanded his interest to embedded electronics, embedded programming and front-/back-end programming.

LinkedIn Facebook

Artigo relacionado - C++ String