Да, свойство row indexPath - это строка в разделе, поэтому вам нужно сохранить массив массивов (массив для каждого раздела). Что-то вроде:
// an array of arrays, one for each section
NSArray * _sectionDataArray;
Когда вы создаете индекс, вы создаете массив для каждого раздела и сохраняете его в _sectionDataArray. Для этого вам нужно создать объект NSMutableDictionary с ключом заголовков вашего раздела, содержащий массив CellThing (объект, содержащий данные вашей ячейки). Когда у вас есть словарь, вы можете просто взять массив для каждой буквы и вставить его в _sectionDataArray.
В вашем методе cellForRowAtIndexPath вы можете получить доступ к данным ячейки, получив массив сечения следующим образом:
NSArray * sectionArray = [_sectionDataArray objectAtIndex:indexPath.section];
Получив массив разделов, вы можете получить доступ к отдельным данным ячейки, которые вам нужны, используя строку в indexPath :
CellThing * cellObject = [sectionArray objectAtIndex:indexPath.row];