Вам не нужно добавлять этот скрипт на каждый объект, просто добавьте его в менеджер, а также, я думаю, вам не хватает параметров Raycast.
Чтобы увидеть, куда направляется ваш луч, вы можете использовать Debug.Ray()
Кроме того, я бы предпочел, чтобы вы использовали способ @MSauer, поскольку он намного чище для того, что вы хотите, просто убедитесь, что объект содержит коллайдер, я думаю, что он может быть триггером, и щелчок все равно будет происходить.