Передача boost :: unordered_set в качестве карты результатов для boost :: split - PullRequest
Новая
       20

Передача boost :: unordered_set в качестве карты результатов для boost :: split

5 голосов
/ 20 октября 2010

Кто-нибудь знает, является ли кошерным пропускание boost :: unordered_set в качестве первого параметра boost :: split?В libboost1.42-dev это, кажется, вызывает проблемы.Вот небольшой пример программы, которая вызывает проблему, назовите ее test-split.cc:

#include <boost/algorithm/string/classification.hpp>
#include <boost/algorithm/string/split.hpp>
#include <boost/unordered_set.hpp>
#include <string>

int main(int argc, char **argv) {
  boost::unordered_set<std::string> tags_set;
  boost::split(tags_set, "a^b^c^",
               boost::is_any_of(std::string(1, '^')));
  return 0;
}

Затем, если я выполню следующие команды: 

g++ -o test-split test-split.cc; valgrind ./test-split

Я получу кучужалобы в valgrind похожи на те, что следуют (я также иногда вижу coredumps без valgrind, хотя, похоже, это зависит от времени): 

==16843== Invalid read of size 8
==16843==    at 0x4ED07D3: std::string::end() const (in /usr/lib/libstdc++.so.6.0.13)
==16843==    by 0x401EE2: unsigned long boost::hash_value<char, std::allocator<char> >(std::basic_string<char, std::char_traits<char>, std::allocator<char> > const&) (in /tmp/test-split)
...
==16843==    by 0x402248: boost::unordered_set<std::string, boost::hash<std::string>, std::equal_to<std::string>, std::allocator<std::string> >& boost::algorithm::split<boost::unordered_set<std::string, boost::hash<std::string>, std::equal_to<std::string>, std::allocator<std::string> >, char const [26], boost::algorithm::detail::is_any_ofF<char> >(boost::unordered_set<std::string, boost::hash<std::string>, std::equal_to<std::string>, std::allocator<std::string> >&, char const (&) [26], boost::algorithm::detail::is_any_ofF<char>, boost::algorithm::token_compress_mode_type) (in /tmp/test-split)
==16843==    by 0x40192A: main (in /tmp/test-split)
==16843==  Address 0x5936610 is 0 bytes inside a block of size 32 free'd
==16843==    at 0x4C23E0F: operator delete(void*) (vg_replace_malloc.c:387)
==16843==    by 0x4ED1EE8: std::basic_string<char, std::char_traits<char>, std::allocator<char> >::~basic_string() (in /usr/lib/libstdc++.so.6.0.13)
==16843==    by 0x404A8B: void boost::unordered_detail::hash_unique_table<boost::unordered_detail::set<boost::hash<std::string>, std::equal_to<std::string>, std::allocator<std::string> > >::insert_range_impl<boost::transform_iterator<boost::algorithm::detail::copy_iterator_rangeF<std::string, char const*>, boost::algorithm::split_iterator<char const*>, boost::use_default, boost::use_default> >(std::string const&, boost::transform_iterator<boost::algorithm::detail::copy_iterator_rangeF<std::string, char const*>, boost::algorithm::split_iterator<char const*>, boost::use_default, boost::use_default>, boost::transform_iterator<boost::algorithm::detail::copy_iterator_rangeF<std::string, char const*>, boost::algorithm::split_iterator<char const*>, boost::use_default, boost::use_default>) (in /tmp/test-split)
...
==16843==    by 0x402248: boost::unordered_set<std::string, boost::hash<std::string>, std::equal_to<std::string>, std::allocator<std::string> >& boost::algorithm::split<boost::unordered_set<std::string, boost::hash<std::string>, std::equal_to<std::string>, std::allocator<std::string> >, char const [26], boost::algorithm::detail::is_any_ofF<char> >(boost::unordered_set<std::string, boost::hash<std::string>, std::equal_to<std::string>, std::allocator<std::string> >&, char const (&) [26], boost::algorithm::detail::is_any_ofF<char>, boost::algorithm::token_compress_mode_type) (in /tmp/test-split)
==16843==    by 0x40192A: main (in /tmp/test-split)

Это окно Debian Squeeze;Вот моя системная информация: 

$ g++ --version
g++ (Debian 4.4.5-2) 4.4.5
Copyright (C) 2010 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

$ dpkg -l | grep boost
ii  libboost-iostreams1.42.0            1.42.0-4                     Boost.Iostreams Library
ii  libboost1.42-dev                    1.42.0-4                     Boost C++ Libraries development files
$ uname -a
Linux gcc44-buildvm 2.6.32-5-amd64 #1 SMP Fri Sep 17 21:50:19 UTC 2010 x86_64 GNU/Linux

Тем не менее, код, кажется, работает нормально, если я понижаю libboost1.42-dev до libboost1.40-dev.Так это ошибка в Boost 1.42, или я неправильно использую boost :: split, передавая контейнер, который не может обрабатывать последовательности?Спасибо!

Ответы [ 3 ]

2 голосов
/ 21 октября 2010

Это было подтверждено в списке рассылки boost-users как ошибка в реализации boost :: unordered_set. В списке рассылки есть исправление, и исправление будет исправлено в ближайшее время, надеемся, что оно будет выпущено для повышения 1.45.

Boost-пользователи: патч

Boost-пользователи: подтверждение

Спасибо всем за внимание!

0 голосов
/ 20 октября 2010

Я думаю, что ответ должен быть да.

Чтение заголовков (split.hpp и iter_find.hpp) split принимает SequenceSequenceT& Result в качестве первого аргумента, который он передает iter_split, который строит диапазон из двух boost::transform_iterator s: 

SequenceSequenceT Tmp(itBegin, itEnd);
Result.swap(Tmp);
return Result;

Таким образом, все, что ему нужно для этого типа, - это иметь конструктор, который принимает пару итераторов, которые обращаются к std::string (или, технически, к BOOST_STRING_TYPENAME). И имеет член .swap () .. и имеет тип SequenceSequenceT::iterator с типом std::string.

доказательство: 

#include <boost/algorithm/string/classification.hpp>
#include <boost/algorithm/string/split.hpp>
#include <string>
#include <iterator>
#include <algorithm>
#include <iostream>
struct X
{
   typedef std::iterator<std::forward_iterator_tag,
           std::string, ptrdiff_t, std::string*, std::string&>
           iterator;
   X() {}
   template<typename Iter> X(Iter i1, Iter i2)
   {
       std::cout << "Constructed X: ";
       copy(i1, i2, std::ostream_iterator<std::string>(std::cout, " " ));
       std::cout << "\n";
   }
   void swap(X&) {}
};
int main()
{
  X x;
  boost::split(x, "a^b^c^", boost::is_any_of(std::string(1, '^')));
}

Я думаю, что unordered_set<std::string> также должен удовлетворять этим требованиям.

0 голосов
/ 20 октября 2010

Очевидно, ответ нет да .

Используя следующий код, я получаю предупреждения во время компиляции и утверждение времени выполнения (Visual C ++ v10) на unordered_set, тогда как vector работает нормально (за исключением пустой строки в последнем элементе, из-за завершающего '^'). 

boost::unordered_set<std::string> tags_set;
vector<string> SplitVec; // #2: Search for tokens
boost::split( SplitVec, "a^b^c^", boost::is_any_of("^") ); 
boost::split( tags_set, "a^b^c^", boost::is_any_of("^") );

Проблема заключается в совместимости итераторов между источником (string) и целевым контейнером. Я бы опубликовал предупреждение об ошибке, но это одно из тех предупреждений шаблона «Война и мир».

EDIT:

Это похоже на ошибку в Boost unordered_set? Когда я использую следующее, оно работает так, как вы ожидаете: 

std::unordered_set<std::string> tags_set_std;
boost::split( tags_set_std, string("a^b^c^"), boost::is_any_of(string("^")) );
...