Django не является асинхронным, поэтому запуск Django в Tornado удалит большинство преимуществ производительности, которые вы можете получить от Tornado.
Если вам нужна максимальная асинхронная производительность, вы должны использовать Tornado с неблокирующей базой данных (я предполагаю, что вы хотите, чтобы администратор Django использовал с базой данных SQL).
Если вам нужна максимальная простота разработки, используйте Django с его системой ORM и инструментами администратора.
К сожалению, вы не можете просто смешать лучшее из обоих миров.
Итак, да, вы потеряете производительность. В этой ситуации я бы, вероятно, использовал Tornado и отказался от админки Django. Если вы не готовы к компромиссу, вы можете написать два приложения, совместно использующих базу данных, но это будет означать, что вам нужно поддерживать два уровня доступа к данным.