Вам нужно экранировать обратную косую черту в строках Python, если за ними следует число; все следующие выражения верны:
assert '\1' == '\x01'
assert len('\\1') == 2
assert '\)' == '\\)'
Итак, ваш код будет
name = re.sub('<b>\\((.+)\\)</b>','<b>\\1</b>',name)
В качестве альтернативы используйте определение строки регулярного выражения:
name = re.sub(r'<b>\((.+)\)</b>', r'<b>\1</b>',name)