Многие люди говорят это, потому что объекты и структуры, представленные в JavaScript, настолько просты, насколько это возможно. Чтобы разработать какой-либо реальный функционал, вы должны использовать внешнюю библиотеку. Низкий уровень - плохой способ выразить это, потому что он уже имеет значение в информатике. Лучше сказать, что это без встроенных библиотек.
Сравните это с Java, где реальный язык на самом деле ничего не делает. Попытка сделать массив без ArrayList или получить доступ к файловой системе без библиотек ввода-вывода. Большинство языков - это больше, чем просто основы, они имеют дополнительную функциональность.
В JavaScript единственная реальная сила, которую мы получаем, это API-интерфейсы, представленные браузерами и не являющиеся частью языка. Такие вещи, как манипуляции с DOM и Ajax, предоставляются браузером.
Может быть, лучше подытожить все это, сказав, что с таким языком, как Java, вы можете приступить к серьезной работе, не загружая сторонние библиотеки, но с JavaScript вам нужно либо загрузить библиотеку, либо написать собственную библиотеку.