Вам нужно сделать /test-bucket/test.css общедоступным.
Поймите, что Lambda даже не обращается к этому файлу во время выполнения, а только ссылается на него внутри объекта String, поэтому ни Lambda, ни API Gateway не знают, что вообще существует файл .css.
Когда ваша функция выполняется через API Gateway, ваша Lambda собирается вернуть строку, содержащую ваш HTML-код внутри нее. Затем браузер попытается отобразить этот HTML, что означает, что сам браузер пытается загрузить файл, который является закрытым, в одном из ваших Buckets. Это то же самое, что создать новый файл index.html на вашем компьютере и попробовать загрузить этот test.css. Это просто не будет работать из-за отсутствия разрешений.
Перейдите в test-bucket / test.css и сделайте объект общедоступным, чтобы браузер мог успешно его загрузить.
Если вы не знаете, как сделать объект общедоступным, я предлагаю вам следовать этой статье в Центре знаний AWS.