Трудно сказать, так как вы не показываете свои модели, но что-то вроде этого может сработать:
<ul>
{% for p in playlists %}
<li>{{ p.playlist.name }}
<ul>
{% for v in p.playlist.videos %}
<li>{{ v.name }}</li>
{% endfor %}
</ul>
</li>
{% endfor %}
</ul>
Я предполагаю, что у ваших видео есть поле ForeignKey(Playlist, related_name="videos")
.