Здесь вы видите взаимодействие между стандартной проблемой Java и стандартным поведением IDEA. Подобные выражения констант встраиваются в компиляцию классов (согласно Спецификации языка Java), так что фактически класс, ссылающийся на эту константу, не изменился только потому, что вы удалили строку (очевидно), и нет записанной зависимости между константой и класс больше, так как он был встроен. Это приводит к тому, что компиляция не завершается неудачей (класс не будет работать и во время выполнения, если это было единственным изменением - он будет неудачным только при выполнении чистой сборки).
Одним из способов решения этой проблемы в IDEA является создание проекта Build-> Rebuild, когда у вас есть такое изменение. Другой в Настройках-> Компилятор есть Honor Dependencies on "Compile" command. Это может отрицательно повлиять на производительность в больших проектах (следовательно, по умолчанию оно отключено), но должно решить эту проблему.
Другая часть этой проблемы заключается в том, что IDEA не пересчитывает автоматически все проверки при подобных изменениях. Он пересчитывает, когда вы открываете файл. Я не знаю настройки, которая заставляет IDEA делать это. При перестройке все найденные проблемы будут выделены (вплоть до того, где отказался компилятор), но выделение не исчезнет, пока вы не откроете класс или не перекомпилируете.