Если вы используете GetComponent<MeshRenderer>().material
, вы меняете первый материал. Вам нужно использовать GetComponent<MeshRenderer>().materials
, чтобы получить все материалы вашего MeshRenderer
в массиве.
Так что если вы хотите изменить второй материал, вам нужно изменить индекс 1 массива материалов следующим образом:
rayHit.collider.gameObject.GetComponent<MeshRenderer>().materials[1].color = Color.black;