адаптация высоты div в javascript или в angulaJS мне кажется неправильным выбором, поэтому я попытался сделать это в css, и это не очень чистое решение
section{
padding-left:40px;
position:relative;
}
.numbers{
overflow-y:scroll;
max-height:100%;
position:absolute;
left:0px;
}
это похоже на работу, но есть много других способов сделать это: начальная загрузка, таблицы, сетка, flex, все, что вы уже используете в своем html для обеспечения согласованности.