Вы можете использовать try...except
обозначение, например:
jsons = []
for folder in os.listdir('this_ folder'):
try:
jsons.append(json.load(open(f'this_folder/{folder}/data.json'))
except FileNotFoundError:
pass
Но я действительно рекомендую закрывать файлы после их открытия:
jsons = []
for folder in os.listdir('this_ folder'):
try:
json_file = open(f'this_folder/{folder}/data.json')
jsons.append(json.load(json_file)
json_file.close()
except FileNotFoundError:
pass