Когда вы говорите о чистой архитектуре, вы говорите об луковой архитектуре (порты и адаптеры)? Если да, ваш вопрос относится не только к Django, но и ко всем языкам.
Фундаментальный принцип домена состоит в том, что он не должен иметь никаких зависимостей. Учитывая этот принцип, если ORM использует DTO, очень вероятно, что вам придется выполнить отображение ORM Entities <-> Domain Model
Какой бы ни была структура, и, следовательно, ORM, который вы используете, это не должно быть импортируется в домен, который должен оставаться агностичным c по отношению ко всему и поэтому должен быть закодирован в простых объектах старого языка.