Я был давным-давно, но, если я хорошо помню, Scintilla не является родным Unicode-приложением.Тем не менее, он имеет некоторую поддержку Unicode.
Во-первых, имя функции должно SCI_GETBYTEAT
, поскольку он возвращает байт из внутреннего буфера UTF-8.Приложение поддерживает Unicode для keybaord, поэтому оно поддерживает Unicode:)