Unity ML Agents и внешние данные

Question

Совершенно новый для Unity, я больше из машинного фона. Планируете использовать ML Agents и написать для него несколько пользовательских сценариев python / tenorflow.

Можно ли тренироваться на основе данных с моего жесткого диска в дополнение к данным единой среды? Так, например, иметь дополнительные данные изображения для подачи в качестве входных данных в сеть рядом с камерой Unity?

Неужели вы еще не видели этого в примерах и документации.

Спасибо!

Answer 1

До тех пор, пока вы можете выразить это в последовательности фиксированной длины Vector3, Vector2, float, int, bool, Quaternion или фиксированной горячей, конечно, нетпроблема. Просто включите их с AddVectorObs в CollectObservations:

public override void CollectObservations()
{
    //internal info
    AddVectorObs(gameObject.transform.rotation.z);
    AddVectorObs(gameObject.transform.position);

    Vector3 externalInfo1 = ExternalInfoGetter.StaticGetInfo1();
    AddVectorObs(externalInfo1);

    float externalInfo2 = ExternalInfoGetter.StaticGetInfo2();
    AddVectorObs(externalInfo2);
}

См. документацию по проектированию агентов для получения дополнительной информации, включая информацию о том, как реализовать функции быстрого доступа, и советы понормализация входов.