Ваш вопрос: почему вы получаете сообщение «OledbException is nothandled».
Итак, ответ на ваш вопрос (но не на вашу проблему) заключается в том, что вы повторно выдает исключение с помощью throw. Вместо этого сделайте что-то вроде:
MessageBox.Show(ex.ToString());
Это покажет вам, что является настоящей ошибкой в вашем коде, и вы обработаете исключение.
Вероятно, возникла исключительная ситуация oleDBException, поскольку для определения команды SQL следует использовать следующее:
string InsertNewRecord = "INSERT INTO jiahe ([Tag ID], [User], [Age], [Phone Number]) VALUES (?newTagID, ?newUser, ?newAge,?newPhoneNumber)";
А затем остальная часть кода установит эти параметры, заменив @xxx в команде фактическими значениями. AddParameter добавит кавычки, поэтому вам не нужно.