попробуйте с этим для получения ячейки "A11"
XSSFCell cell = sheet.getRow(10).getCell(0); // 10 = id of the 11th row, 0 = id of the 1st (A) column
или
XSSFCell cell = sheet.getRow(10).getCell(CellReference.convertColStringToIndex("A"));
создать ссылку на ячейку для B12
CellReference cr = new CellReference("B12");
row = mySheet.getRow(cr.getRow());
cell = row.getCell(cr.getCol());