Я не уверен, что это сработает, но если вы используете windows, вы можете добавить> filename.txt в конец аргумента os, чтобы получить вывод команды cmd.
async def play(ctx):
args = ctx.message.content.split(" ")
os.system('youtube-dl --get-url "ytsearch:{}"'.format(args[1])+ "> filename.txt")
Затем вы можете прочитать файл и сохранить результат в переменной, написав ...
file = open("filename.txt","r")
output = file.read()
file.close()
Я предполагаю, что каким бы ни был вывод команды, это будет URL-адрес?