Сначала ваш буфер недостаточно велик, вы должны использовать buff [40] (10 * 4)
вам не нужно делать присваивание здесь ASCII2HEX всегда возвращать 0
ASCII2HEX(name,buff);
Я изменил тип возврата ASCII2HEX на void, вам не нужно возвращаемое значение
void ASCII2HEX(unsigned char *Response,unsigned char *buff);
void main()
{
unsigned char name[10]="ERPDIR",buff[30];
ASCII2HEX(name,buff);
printf("The HEX Value is %s\n", buff);
}
void ASCII2HEX(unsigned char *Response,unsigned char *buff)
{
int len,hexlen=0,i=0;
unsigned char BUFF[512]="";
#ifdef PRINT_CONSOLE
printf("\n###### ASCII2HEX:");
#endif
len = strlen((char*)Response);
for(i=0;i<len;i++)
{
sprintf((char*)BUFF+(2*i),"%02X",Response[i]);
#ifdef PRINT_CONSOLE
printf("%02X ",Response[i]);
#endif
}
printf("\n");
BUFF[2*i]='\0';
hexlen=len;
memset(buff,0,sizeof(buff));
AsciiStr2HexByte((const char*)BUFF,len*2,buff,&hexlen);
buff[hexlen]='\0';
}