Ответом будет «Да и Нет».Это зависит от типа памяти.
Как прокомментировал @Jawad, память текстур кэшируется, но я не совсем уверен, что чтение завершено одновременно или оно сериализовано и считано из кеш-памяти.
С другой стороны,Постоянная память транслируется, когда потоки в полусфере считываются из одного и того же местоположения, но сериализуется при чтении из нескольких местоположений.Этот тип памяти также кэшируется.
Наконец, разделяемая память сериализуется, если некоторые потоки пытаются прочитать один и тот же банк памяти, или конфликт банков , но * может передавать несколько потоков одновременно, когдаобслуживание одного запроса на чтение из памяти *.
И это также зависит от вычислительных возможностей вашей графической карты.Я рекомендую вам взглянуть на Руководство по программированию NVIDIA CUDA C (v.3.2 - глава Приложение G., разделы G.3 Compute Capability 1.x и G.4 Compute Capability 2.x).
Надеюсь, этопомощь.