.map
создаст новый массив с тем же количеством элементов, что и у старого массива, но вы хотите включить только те элементы, которые проходят тест. Используйте .filter
вместо:
let cityList = ['Clevelend', 'Birmingham', 'Austin', 'Milwaukee'];
const citiesAtoJ = arr => arr.filter(
city => /\b[A-J]/.test(city)
);
console.log(citiesAtoJ(cityList));