Есть множество книг о параллельных вычислениях, параллельных алгоритмах, Scientifi c вычислениях, OpenMP и MPI; не говоря уже о книгах HP C. Некоторые хорошие книги даже бесплатны и хороши для начала, такие как книга Виктора Эйхоута HP C .
Что касается языков программирования, обычно используются C, C ++ и FORTRAN. кодировать приложения HP C. CUDA и OpenCL могут быть полезны для программирования на основе графических процессоров.
Обратите внимание, что ландшафт HP C не должен сильно отличаться с 3 лет, поэтому читать такие учебные пособия можно.