Стоит отключить плагины, которые вы не используете, но не для экономии памяти.Отключив их, вы получите более чистый пользовательский интерфейс без лишних пунктов меню и настроек.
С точки зрения производительности вы не сильно выиграете на современном оборудовании, поскольку IDEA использует ленивую загрузку и инициализацию, она не будет загружать плагины, которые неиспользуется в текущем проекте.