Совершенно нормально просто использовать GridLayout, если вам не нужна функциональность RecyclerView. Тем не менее, вам следует вникнуть в RecyclerView как можно скорее (это очень сильный инструмент).
До определенного размера сольный GridLayout будет рендерить / загружать быстрее, но в какой-то момент этот эффект обратится:
Recycle (просмотр): представление, ранее использовавшееся для отображения данных для определенной позиции адаптера, может быть помещено в кэш для последующего повторного использования для последующего повторного отображения данных того же типа. Это может значительно улучшить производительность, пропуская начальную разметку или конструкцию.