Как добавить файл в файл mmap с помощью ящика memmap? - PullRequest
Новая
       5

Как добавить файл в файл mmap с помощью ящика memmap?

0 голосов
/ 11 декабря 2018

У меня есть файл foo.txt с содержанием 

foobar

Я хочу постоянно добавлять этот файл и иметь доступ к измененному файлу.

MmapMut

Первое, что я попробовал, - это напрямую изменить mmap: 

use memmap;
use std::fs;
use std::io::prelude::*;

fn main() -> Result<(), Box<std::error::Error>> {
    let backing_file = fs::OpenOptions::new()
        .read(true)
        .append(true)
        .create(true)
        .write(true)
        .open("foo.txt")?;

    let mut mmap = unsafe { memmap::MmapMut::map_mut(&backing_file)? };

    loop {
        println!("{}", std::str::from_utf8(&mmap[..])?);
        std::thread::sleep(std::time::Duration::from_secs(5));
        let buf = b"somestring";
        (&mut mmap[..]).write_all(buf)?;
        mmap.flush()?;
    }
}

Это приведет к панике: 

Error: Custom { kind: WriteZero, error: StringError("failed to write whole buffer") }

В результате файл получит somest

Прямое добавление к файлу поддержки

После этого я попытался напрямую добавить к файлу поддержки: 

use memmap;
use std::fs;
use std::io::prelude::*;

fn main() -> Result<(), Box<std::error::Error>> {
    let mut backing_file = fs::OpenOptions::new()
        .read(true)
        .append(true)
        .create(true)
        .write(true)
        .open("foo.txt")?;

    let mmap = unsafe { memmap::MmapMut::map_mut(&backing_file)? };

    loop {
        println!("{}", std::str::from_utf8(&mmap[..])?);
        std::thread::sleep(std::time::Duration::from_secs(5));
        let buf = b"somestring";
        backing_file.write_all(buf)?;
        backing_file.flush()?;
    }
}

Это не приводит к панике.Файл будет регулярно обновляться, но мой mmap не отражает эти изменения.Я ожидал, что стандартный вывод будет выглядеть следующим образом: 

foobar
foobarsomestring
foobarsomestringsomestring
...

Но я получил 

foobar
foobar
foobar
...

В основном меня интересует решение Linux, если оно зависит от платформы.

1 Ответ

0 голосов
/ 11 декабря 2018

Во-первых, исходя из моего понимания, я бы призвал вас быть крайне подозрительным к этому ящику .Это позволяет вам делать вещи в безопасном Rust, что вы должны не .

Например, если у вас есть mmap с файловой поддержкой, то любой процесс на вашем компьютере с правами доступа к файлу может изменить его.Это означает, что:

  1. Никогда не допустимо, чтобы файл mmapped считался неизменным фрагментом байтов (&[u8]), поскольку он может быть изменен!
  2. Он никогда не действителен дляmmapped-файл, который будет рассматриваться как изменяемый фрагмент байтов (&mut [u8]), поскольку изменяемая ссылка подразумевает исключительного владельца, который может изменять эти данные, но у вас его нет.

The документация для этого ящика охватывает нет этих проблем и не обсуждает, как вы должны безопасно использовать небольшую горстку unsafe функций.Для меня это признаки того, что вы можете вводить неопределенное поведение в свой код, что очень плохо.

Например: 

use memmap;
use std::{fs, io::prelude::*};

fn main() -> Result<(), Box<std::error::Error>> {
    let mut backing_file = fs::OpenOptions::new()
        .read(true)
        .append(true)
        .create(true)
        .write(true)
        .open("foo.txt")?;

    backing_file.write_all(b"initial")?;

    let mut mmap_mut = unsafe { memmap::MmapMut::map_mut(&backing_file)? };
    let mmap_immut = unsafe { memmap::Mmap::map(&backing_file)? };

    // Code after here violates the rules of references, but doesn't use `unsafe`
    let a_str: &str = std::str::from_utf8(&mmap_immut)?;
    println!("{}", a_str); // initial

    mmap_mut[0] = b'x';

    // Look, we just changed an "immutable reference"!
    println!("{}", a_str); // xnitial

    Ok(())
}

Поскольку люди обычно некак если бы вам сказали «нет, не делайте этого, это плохая идея», вот как заставить ваш код «работать»: напрямую добавьте файл и затем заново создайте mmap: 

use memmap;
use std::{fs, io::prelude::*, thread, time::Duration};

fn main() -> Result<(), Box<std::error::Error>> {
    let mut backing_file = fs::OpenOptions::new()
        .read(true)
        .append(true)
        .create(true)
        .write(true)
        .open("foo.txt")?;

    // mmap requires that the initial mapping be non-zero
    backing_file.write_all(b"initial")?;

    for _ in 0..3 {
        let mmap = unsafe { memmap::MmapMut::map_mut(&backing_file)? };

        // I think this line can introduce memory unsafety
        println!("{}", std::str::from_utf8(&mmap[..])?);

        thread::sleep(Duration::from_secs(1));

        backing_file.write_all(b"somestring")?;
    }

    Ok(())
}

Возможно, вы захотите предварительно выделить «большой» кусок пространства в этом файле, чтобы вы могли просто открыть его и начать писать, вместо того, чтобы заново отображать его.

Я бы не стал использовать этот код ни для чегогде важно, чтобы данные были правильными, сам.

См. также:

...