Три очка:
1) Приведенные вами примеры символов не являются специальными. Они прямо доступны на вашей клавиатуре. Просто нажмите соответствующую клавишу.
2) Для ввода символов, на клавиатуре которых нет соответствующей клавиши, используйте:
Alt + (кодовый номер ASCII специального символа)
Например, чтобы ввести ¿, нажмите Alt и введите 168 , который является кодом ASCII для этого специального символа.
Вы можете использовать этот метод для ввода специального символа практически в любой программе, а не только в текстовом редакторе VB.Net.
3) Вероятно, вы ищете то, что называется «экранированием» символов в строке. В строке SQL-запроса просто поместите \ перед каждым из этих символов. Это должно сделать.