Может ли кто-нибудь привести пример поиска, чтения и записи> 4 ГБ файла с помощью boost iostreams - PullRequest
Новая
       15

Может ли кто-нибудь привести пример поиска, чтения и записи> 4 ГБ файла с помощью boost iostreams

7 голосов
/ 19 августа 2009

Я читал, что boost iostreams предположительно поддерживает 64-битный доступ к большим файлам полупортативным способом. В их часто задаваемых вопросах упоминаются 64-битные функции смещения , но нет примеров того, как их использовать. Кто-нибудь использовал эту библиотеку для обработки больших файлов? Очень полезен простой пример открытия двух файлов, поиска их середин и копирования одного в другой.

Спасибо.

1 Ответ

7 голосов
/ 26 февраля 2010

Краткий ответ

Просто включите 

#include <boost/iostreams/seek.hpp>

и используйте функцию seek, как в 

boost::iostreams::seek(device, offset, whence);

, где

  • device - это файл, поток, потоковый буфер или любой объект, конвертируемый в seekable;
  • offset - это 64-битное смещение типа stream_offset;
  • whence - это BOOST_IOS::beg, BOOST_IOS::cur или BOOST_IOS::end.

Возвращаемое значение seek имеет тип std::streampos, и его можно преобразовать в stream_offset с помощью функции position_to_offset.

* * Пример 1 040 * +1041 *

Вот длинный, утомительный и повторяющийся пример, который показывает, как открыть два файла, выполнить поиск во внешнем пакете более 4 ГБ и скопировать данные между ними.

ПРЕДУПРЕЖДЕНИЕ. Этот код создаст очень большие файлы (несколько ГБ). Попробуйте этот пример в ОС / файловой системе, которая поддерживает разреженные файлы. Linux в порядке; Я не тестировал его на других системах, таких как Windows. 

/*
 * WARNING: This creates very large files (several GB)
 * unless your OS/file system supports sparse files.
 */
#include <boost/iostreams/device/file.hpp>
#include <boost/iostreams/positioning.hpp>
#include <cstring>
#include <iostream>

using boost::iostreams::file_sink;
using boost::iostreams::file_source;
using boost::iostreams::position_to_offset;
using boost::iostreams::seek;
using boost::iostreams::stream_offset;

static const stream_offset GB = 1000*1000*1000;

void setup()
{
    file_sink out("file1", BOOST_IOS::binary);
    const char *greetings[] = {"Hello", "Boost", "World"};
    for (int i = 0; i < 3; i++) {
        out.write(greetings[i], 5);
        seek(out, 7*GB, BOOST_IOS::cur);
    }
}

void copy_file1_to_file2()
{
    file_source in("file1", BOOST_IOS::binary);
    file_sink out("file2", BOOST_IOS::binary);
    stream_offset off;

    off = position_to_offset(seek(in, -5, BOOST_IOS::end));
    std::cout << "in: seek " << off << std::endl;

    for (int i = 0; i < 3; i++) {
        char buf[6];
        std::memset(buf, '\0', sizeof buf);

        std::streamsize nr = in.read(buf, 5);
        std::streamsize nw = out.write(buf, 5);
        std::cout << "read: \"" << buf << "\"(" << nr << "), "
                  << "written: (" << nw << ")" << std::endl;

        off = position_to_offset(seek(in, -(7*GB + 10), BOOST_IOS::cur));
        std::cout << "in: seek " << off << std::endl;
        off = position_to_offset(seek(out, 7*GB, BOOST_IOS::cur));
        std::cout << "out: seek " << off << std::endl;
    }
}

int main()
{
    setup();
    copy_file1_to_file2();
}
...