Просто передайте коэффициент, который обозначает эти группы, команде построения:
data = read.table('data.txt', header=T)
data.pca = prcomp(data[,-1])
groups = factor(gsub('(.).', '\\1', data$SpecieName))
plot(data.pca$x, col=groups)
Кроме того, если вы хотите установить определенных цветов, вы всегда можете индексировать в пользовательский список одним и тем же способом:
cols = c('red', 'blue', 'black')[groups]
plot(data.pca$x, col=cols)