проблема решена. необходимо открыть файл БД с помощью sqlite3_open16, затем выполнить команду PRAGMA encoding = \ "UTF-16 \"; (Я не уверен, если это необходимо). Теперь вставка будет сделана с UTF-16.
Для выбора из БД (для получения значения столбца) необходимо использовать функцию sqlite3_column_text16