1) Неправильная инициализация массива символов:
char string[5] = "ABCDE";
Вам не хватает места для завершающего символа NUL ('\ 0').
Это
char string[6] = "ABCDE";
или
char string[] = "ABCDE";
исправляет эту проблему.
2) (предполагается, что addInsert () должен быть editor_insert_char ())
Вы передаете неправильный тип второму параметру вашей функции. «Z» - это строка (массив символов), но ваша функция ожидает один символ.
Вызовите свою функцию следующим образом, используя single quotes.:
int r = editor_insert_char(string, 'Z', 3);