Вы можете попробовать это:
$('div:not(#id3, #id3 *)').css('background-color', 'green');
Кроме того, у вас есть опечатка при установке css, она должна быть .css('background-color', 'green')
вместо .css('background-color' : 'black')
$('div:not(#id3, #id3 *)').css('background-color', 'green');
div {
padding: 4px 8px;
margin-top: 5px;
border: 1px solid #eee;
background-color: #fff;
}
<script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.3.1/jquery.min.js"></script>
<div>A</div>
<div id="id1">id1
<div id="id2">id2
<div id="id3">id3
<div id="id4">id4
<div id="id5">id5
<p>Text here</p>
<h3>Text here</h3>
</div>
</div>
</div>
</div>
</div>
<div>B</div>