Я не знаю, в чем причина, но если переместить -lm
в конец, он скомпилируется.
$ cc -o randomselection rfc3797.c MD5.c -lm
rfc3797.c: In function ‘getinteger’:
rfc3797.c:183:3: warning: format not a string literal and no format arguments [-Wformat-security]