Перекрытие передачи данных и выполнения ядра с использованием потока CUDA

Question

Я хочу оптимизировать свою программу CUDA, перекрывая передачу данных с выполнением ядра.Но пример программы asyncAPI.cu в CUDA SDK слишком прост, чтобы помочь.

Я выполнил поиск по этой проблеме и обнаружил, что в некоторых руководствах для достижения перекрытия используются два потока CUDA.В моем случае необходимо вычислить огромное количество данных, поэтому мне нужно циклически проходить и отправлять часть данных на GPU каждую итерацию.Но я не знаю, как написать такой цикл, потому что все операции асинхронные, и я боюсь, что передаваемые данные сотрут / покроют те, которые в настоящее время обрабатываются.

Кто-нибудь сталкивался с этим?
Любойпомощь будет благодарна.

Answer 1

Следует иметь в виду, что операции в одном и том же потоке будут выполняться по порядку и будут перекрываться только с операциями в других потоках.Когда я работал с потоками, мой подход состоял в том, чтобы иметь отдельные области памяти для каждого потока, который будет использоваться.Это позволило бы устранить проблемы синхронизации между потоками.Если это не подходит для вас из-за ограничений памяти или вам нужно обмениваться данными между ядрами, вам нужно самостоятельно запрограммировать синхронизацию.

Также, если вы делаете какие-либо вызовы в потоке по умолчанию, этот steam будет ждатьдругие потоки заканчиваются перед выполнением, и никакие другие потоки не могут выполняться, пока в потоке по умолчанию что-то запущено.

Надеюсь, это поможет.