Прежде всего, вы ошиблись операцией в определении интерфейса. Я не знаю, если это опечатка здесь или в вашем источнике
Во-вторых, общедоступный интерфейс или класс должен быть в своем собственном файле. Нет причины, по которой у вас не может быть локального файла:
interface Operation { ... }
или даже открытый класс внутри другого:
public class CalcModel extends Observable {
...
public class Operation { ... }
}
Вы можете получить доступ к классу как CalcModel.Operation
Ошибка говорит вам все это. Класс не может быть общедоступным или должен быть в своем собственном файле.