configure.ac и configure.in - это два возможных имени основного исходного файла Autoconf, который обрабатывается autoconf для создания сценария оболочки configure. configure.ac предпочтительнее для новых пакетов, configure.in - старое имя, которое все еще работает. (Суффикс .in теперь рекомендуется использовать только для файлов, которые будут обработаны config.status, что является результатом выполнения configure.)
Makefile.am - исходный файл Automake. Automake обрабатывает его и генерирует Makefile.in, который затем обрабатывается config.status для генерации окончательного файла Makefile. Сгенерированный Automake Makefile.in не предназначен для редактирования вручную. Однако, если проект не использует Automake (но использует Autoconf), он будет иметь только Makefile.in, который отредактирован вручную.
Подробнее см. http://www.gnu.org/software/autoconf/manual/html_node/Making-configure-Scripts.html - в частности, диаграммы.