TextTestRunner имеет stream=sys.stderr
в своем конструкторе:
def __init__(self, stream=sys.stderr, descriptions=1, verbosity=1)
Измените его на нулевой поток.
result = unittest.TextTestRunner(stream = open(os.devnull, 'w')).run(alltests)
if len(result.failures) or len(result.errors):
print "Sorry."