Что такое libB и libA? Являются ли они библиотеками, которые представляют собой один большой файл .o или состоят из нескольких файлов .o?
Если библиотеки - это несколько файлов .o, и вы вызываете функцию в одном из файлов .o библиотеки libB, который использует один из файлов .o библиотеки libA, то вы получите файл .o библиотеки libB и зависимую библиотеку libA .o. Если вы используете в libB .o функцию, которая ни от чего не зависит от libA, тогда вы получите только файл libB .o в вашем двоичном файле.
Таким образом, если у вас есть команда:
cc -o a.out a.c libA.a libB.a
Вы получите только необходимые части как от libB, так и от libA.