Как обрабатывать огромные данные в JavaScript?

Question

У меня есть список объектов (размер списка более 25k). Мне нужно выполнить различные операции с этим списком, например, выделять эти слова в пользовательском интерфейсе, добавлять, обновлять, удалять объекты в списке и т. д. Я также должен следить за дубликатами. Каков наилучший способ обработки этих огромных данных для таких операций.

Answer 1

1. Вы не должны выполнять вычисления на больших данных на стороне клиента.
2. Используйте базу данных (SQL или No-SQL) и сохраняйте предварительно обработанные данные (не знаю, будет ли это соответствовать вашим требованиям).
3. Как уже упоминалось @Shadow, используйте нумерацию страниц (чрезмерная манипуляция с DOM снижает производительность)
4. Вы можете использовать сокеты для обработки маленького куска данных и отправки с событиями сокета. Затем вы можете манипулировать DOM после каждого небольшого куска (не знаю, будет ли он соответствовать вашему требованию).
5. Как обрабатывать операции с большими массивами в Javascript?
6. Какой самый эффективный способ управления большими наборами данных с помощью Javascript / jQuery в IE?
7. Как обрабатывать большие объемы данных в JavaScript

Answer 2

Вы также можете прочитать подобные статьи в Интернете: https://www.keycdn.com/blog/javascript-performance/

Перейдите к http://jsben.ch/ и просмотрите другие тесты

действительно используйте document.CreateElement

и перебор массива обходится дешево даже для 1M +:

var arr = new Array(1111111).fill().map( (_,n)=>n );
var t0 = performance.now();
for( var l = arr.length - 1; l >= 0; --l ) {
    arr[l]+= 1;
}
var t1 = performance.now();
console.log(t1-t0+" millisec");