Недостаточно памяти Создание экземпляра WebAssembly в Cloudflare Workers - PullRequest
Новая
       52

Недостаточно памяти Создание экземпляра WebAssembly в Cloudflare Workers

0 голосов
/ 01 февраля 2019

Я создаю модуль WebAssembly в Rust для использования в Cloudflare Workers через wasm-bindgen.Модуль в целом очень простой;она имеет единственную функцию с именем process, которая принимает в качестве входных данных два двоичных файла (представленных двумя Uint8BitArrays) и значение json_value (интерпретируемое serde), и возвращает либо None, либо строку, обычно что-то вроде этого. 

#[wasm_bindgen]
pub fn process(
    binary_a: &[u8],
    binary_b: &[u8],
    json_value: &JsValue,
) -> Option<String> {
   Some(String::new())
}

Клеевой код для создания экземпляра модуля WebAssembly практически идентичен команде wasm-bindgen --no-modules, я только изменил условие инициализации в строке 93 на true: 

self = {};

(function() {
    var wasm;
    const __exports = {};


    let cachegetUint8Memory = null;
    function getUint8Memory() {
        if (cachegetUint8Memory === null || cachegetUint8Memory.buffer !== wasm.memory.buffer) {
            cachegetUint8Memory = new Uint8Array(wasm.memory.buffer);
        }
        return cachegetUint8Memory;
    }

    let WASM_VECTOR_LEN = 0;

    function passArray8ToWasm(arg) {
        const ptr = wasm.__wbindgen_malloc(arg.length * 1);
        getUint8Memory().set(arg, ptr / 1);
        WASM_VECTOR_LEN = arg.length;
        return ptr;
    }

    const heap = new Array(32);

    heap.fill(undefined);

    heap.push(undefined, null, true, false);

    let stack_pointer = 32;

    function addBorrowedObject(obj) {
        if (stack_pointer == 1) throw new Error('out of js stack');
        heap[--stack_pointer] = obj;
        return stack_pointer;
    }

    let cachedTextDecoder = new TextDecoder('utf-8');

    function getStringFromWasm(ptr, len) {
        return cachedTextDecoder.decode(getUint8Memory().subarray(ptr, ptr + len));
    }

    let cachedGlobalArgumentPtr = null;
    function globalArgumentPtr() {
        if (cachedGlobalArgumentPtr === null) {
            cachedGlobalArgumentPtr = wasm.__wbindgen_global_argument_ptr();
        }
        return cachedGlobalArgumentPtr;
    }

    let cachegetUint32Memory = null;
    function getUint32Memory() {
        if (cachegetUint32Memory === null || cachegetUint32Memory.buffer !== wasm.memory.buffer) {
            cachegetUint32Memory = new Uint32Array(wasm.memory.buffer);
        }
        return cachegetUint32Memory;
    }
    /**
    * @param {Uint8Array} arg0
    * @param {Uint8Array} arg1
    * @param {any} arg2
    * @returns {string}
    */
    __exports.process = function(arg0, arg1, arg2) {
        const ptr0 = passArray8ToWasm(arg0);
        const len0 = WASM_VECTOR_LEN;
        const ptr1 = passArray8ToWasm(arg1);
        const len1 = WASM_VECTOR_LEN;
        const retptr = globalArgumentPtr();
        try {
            wasm.process(retptr, ptr0, len0, ptr1, len1, addBorrowedObject(arg2));
            const mem = getUint32Memory();
            const rustptr = mem[retptr / 4];
            const rustlen = mem[retptr / 4 + 1];
            if (rustptr === 0) return;
            const realRet = getStringFromWasm(rustptr, rustlen).slice();
            wasm.__wbindgen_free(rustptr, rustlen * 1);
            return realRet;


        } finally {
            wasm.__wbindgen_free(ptr0, len0 * 1);
            wasm.__wbindgen_free(ptr1, len1 * 1);
            heap[stack_pointer++] = undefined;

        }

    };

    function init(path_or_module) {
        let instantiation;
        const imports = { './phototaxon_worker_utils': __exports };
        if (true) {
            instantiation = WebAssembly.instantiate(path_or_module, imports)
            .then(instance => {
            return { instance, module: path_or_module }
        });
    } else {
        const data = fetch(path_or_module);
        if (typeof WebAssembly.instantiateStreaming === 'function') {
            instantiation = WebAssembly.instantiateStreaming(data, imports);
        } else {
            instantiation = data
            .then(response => response.arrayBuffer())
            .then(buffer => WebAssembly.instantiate(buffer, imports));
        }
    }
    return instantiation.then(({instance}) => {
        wasm = init.wasm = instance.exports;

    });
};
self.wasm_bindgen = Object.assign(init, __exports);
})();

self.wasm_bindgen(MODULE).then(() => { XXX }).catch(error => console.log(error));

Я использовал cloudworker , чтобы опробовать весь скрипт, и он работал без проблем.Затем я попробовал тот же сценарий с API службы предварительного просмотра , и он несколько раз работал нормально, пока не начал выдавать ошибки: 

RangeError: WebAssembly Instantiation: Out of memory: wasm memory
    at init (worker.js:1200:35)
    at Module.<anonymous> (worker.js:1878:15)
    at __webpack_require__ (worker.js:20:30)
    at worker.js:84:18
    at worker.js:87:10

Это происходит при создании экземпляра, независимо от отправленного запроса (что происходит после инициализации.

Я пытался уменьшить свой сценарий Webassembly, но даже функция типа hello-world была отклонена. Я не знаюкак отлаживать, это связано с клейким кодом, кодом ржавчины или службой предварительного просмотра Cloudflare?

1 Ответ

0 голосов
/ 02 февраля 2019

Проблема заключалась в отсутствии емкости String (в функции process), поэтому модуль WebAssembly не мог выделить требуемую память для работы (вероятно, избыточное обеспечение).Устанавливая предел с помощью String::with_capacity, модуль работает нормально без проблем с памятью.

...