Как удалить дубликаты по значению ключа в javascript списке объектов?

Question

Рассмотрим следующий массив:

[
  { url: "https://url.com/file1", md5: "fbbbabcc19264ce7b376ce4c726b9b85" },
  { url: "https://url.com/file2", md5: "d920d140432b961f07695ec34bd2a8ad" },
  { url: "https://url.com/file3", md5: "fbbbabcc19264ce7b376ce4c726b9b85" },
  { url: "https://url.com/file4", md5: "bf80655dbe90123324f88a778efa39f7" },
  { url: "https://url.com/file5", md5: "fbbbabcc19264ce7b376ce4c726b9b85" }
];

Файлы "file1", "file3" и "file5" имеют одинаковое содержимое и, следовательно, один и тот же md5. Я только хочу сохранить файлы с разными md5s (file1, file2, file4).

Каковы возможные способы достижения этого с помощью современного ES6?

Answer 1

Вы можете использовать Set для отслеживания уже найденных файлов.

const arr = [{
    url: 'https://url.com/file1',
    md5: 'fbbbabcc19264ce7b376ce4c726b9b85'
  },
  {
    url: 'https://url.com/file2',
    md5: 'd920d140432b961f07695ec34bd2a8ad'
  },
  {
    url: 'https://url.com/file3',
    md5: 'fbbbabcc19264ce7b376ce4c726b9b85'
  },
  {
    url: 'https://url.com/file4',
    md5: 'bf80655dbe90123324f88a778efa39f7'
  },
  {
    url: 'https://url.com/file5',
    md5: 'fbbbabcc19264ce7b376ce4c726b9b85'
  }
]

const uniqueFiles = new Set();
const ans = arr.filter(ele => {
  if (!uniqueFiles.has(ele.md5)) {
    uniqueFiles.add(ele.md5);
    return true;
  }
  return false;
});

console.log(ans)

Answer 2

const arr = [
        {url: 'https://url.com/file1', md5: 'fbbbabcc19264ce7b376ce4c726b9b85'},
        {url: 'https://url.com/file2', md5: 'd920d140432b961f07695ec34bd2a8ad'},
        {url: 'https://url.com/file3', md5: 'fbbbabcc19264ce7b376ce4c726b9b85'},
        {url: 'https://url.com/file4', md5: 'bf80655dbe90123324f88a778efa39f7'},
        {url: 'https://url.com/file5', md5: 'fbbbabcc19264ce7b376ce4c726b9b85'}
];


const removeDuplicates = (myArr, prop) => {
    return myArr.filter((obj, pos, arr) => {
        return arr.map(mapObj => mapObj[prop]).indexOf(obj[prop]) === pos;
    });
}
const result = removeDuplicates(arr, 'md5');
console.log(result)

Вы можете фильтровать ваш массив по определенному ключу, в вашем случае 'md5'.

Answer 3

Вы можете использовать reduce для решения проблемы:

const list = [
    { url: 'https://url.com/file1', md5: 'fbbbabcc19264ce7b376ce4c726b9b85' },
    { url: 'https://url.com/file2', md5: 'd920d140432b961f07695ec34bd2a8ad' },
    { url: 'https://url.com/file3', md5: 'fbbbabcc19264ce7b376ce4c726b9b85' },
    { url: 'https://url.com/file4', md5: 'bf80655dbe90123324f88a778efa39f7' },
    { url: 'https://url.com/file5', md5: 'fbbbabcc19264ce7b376ce4c726b9b85' },
];

const removeDup = (arr, key) => {
    return arr.reduce((acc, cur) => {
        if (acc.some(a => a[key] === cur[key])) return acc;
        return acc.concat(cur)
    }, [])
};

console.log(removeDup(list, 'md5'))

Answer 4

const list = [
  { url: 'https://url.com/file1', md5: 'fbbbabcc19264ce7b376ce4c726b9b85' },
  { url: 'https://url.com/file2', md5: 'd920d140432b961f07695ec34bd2a8ad' },
  { url: 'https://url.com/file3', md5: 'fbbbabcc19264ce7b376ce4c726b9b85' },
  { url: 'https://url.com/file4', md5: 'bf80655dbe90123324f88a778efa39f7' },
  { url: 'https://url.com/file5', md5: 'fbbbabcc19264ce7b376ce4c726b9b85' },
];

const deDupe = (arr = []) => {
  return Object.values(arr.reduce((obj, item) => {
    obj[item.md5] = obj[item.md5] || item;
    return obj;
  }, {}));
}

const dedupedList = deDupe(list);

console.log(dedupedList);

/* 
  [
    {
      "url": "https://url.com/file1",
      "md5": "fbbbabcc19264ce7b376ce4c726b9b85"
    },
    {
      "url": "https://url.com/file2",
      "md5": "d920d140432b961f07695ec34bd2a8ad"
    },
    {
      "url": "https://url.com/file4",
      "md5": "bf80655dbe90123324f88a778efa39f7"
    }
  ] 
*/

Answer 5

Просто используйте карту с ключами md5:

const md5_map =
  files =>
    files.reduce((map, {url, md5}) =>
      ({...map, [md5]: url}), {});
      
console.log(md5_map(files));

<script>
const files = [
  { url: "https://url.com/file1", md5: "fbbbabcc19264ce7b376ce4c726b9b85" },
  { url: "https://url.com/file2", md5: "d920d140432b961f07695ec34bd2a8ad" },
  { url: "https://url.com/file3", md5: "fbbbabcc19264ce7b376ce4c726b9b85" },
  { url: "https://url.com/file4", md5: "bf80655dbe90123324f88a778efa39f7" },
  { url: "https://url.com/file5", md5: "fbbbabcc19264ce7b376ce4c726b9b85" }
]
</script>