из вашего вопроса не ясно, является ли тип вашего массива
Integer[][] neighbors;
или
int[][] neighbors;
причина в том, что из-за автоматической распаковки Java это прекрасно компилируется:
int n = neighbors[x][y];
и на самом деле фактически
int n = neighbors[x][y].intValue();
в любом случае вы можете иметь только ссылку на не примитивный тип, поэтому, если ваш массив имеет тип Integer, вы можете просто сделать:
Integer n = neighbors[x][y];
если тип вашего массива int [] [], ваша 'ссылка' должна будет содержать ссылку на сам массив и два индекса в нем.
однако, поскольку Integer является неизменяемым, вы не можете писать в него, даже если у вас была ссылка на него, поэтому ваш единственный реальный вариант - сохранить ссылку на массив и два индекса.