Невозможно получить доступ к символам через модули в LLVM OrcJIT - PullRequest
Новая
       112

Невозможно получить доступ к символам через модули в LLVM OrcJIT

3 голосов
/ 09 апреля 2020

Я пишу JIT-компилятор, используя haskell, LLVM-hs и OrcJIT. Вот мой основной файл, который компилирует модули, добавляет их в JIT, извлекает и выполняет внутренние основные функции: 

main :: IO ()
main =
    withContext $ \ctx ->
        withExecutionSession $ \es ->
            withHostTargetMachine Reloc.PIC CodeModel.Default CodeGenOpt.None $ \tm ->
                withSymbolResolver es myResolver $ \psr ->
                    withObjectLinkingLayer es (\_ -> return psr) $ \oll ->
                        withIRCompileLayer oll tm $ \ircl -> do
                            loadLibraryPermanently Nothing
                            repl ctx es tm ircl

    where
        myResolver :: SymbolResolver
        myResolver = SymbolResolver $ \mangled -> do
            ptr <- getSymbolAddressInProcess mangled
            return $ Right $ JITSymbol
                { jitSymbolAddress = ptr 
                , jitSymbolFlags   = defaultJITSymbolFlags { jitSymbolExported = True }
                }


repl :: Context -> ExecutionSession -> TargetMachine -> IRCompileLayer ObjectLinkingLayer ->  IO ()
repl ctx es tm cl = runInputT defaultSettings (loop C.initCmpState)
    where
        loop :: C.CmpState -> InputT IO ()
        loop state =
            getInputLine "% " >>= \minput -> case minput of
                Nothing    -> return ()
                Just "q"   -> return ()
                Just input -> liftIO (process state input) >>= loop

        process :: C.CmpState -> String -> IO C.CmpState
        process state source =
            case L.alexScanner source of
                Left  errStr -> putStrLn errStr >> return state
                Right tokens -> case (P.parseTokens tokens) 0 of
                    P.ParseOk ast ->
                        let (res, state') = C.codeGen state (head ast) in
                        case res of
                            Left err -> putStrLn (show err) >> return state
                            Right () -> runDefinition (state' { C.externs = C.externs state }) >> return state'
                                { C.globals      = Map.empty
                                , C.instructions = []
                                }

        runDefinition :: C.CmpState -> IO ()
        runDefinition state = do
            let globals = Map.elems (C.globals state)
            let externs = Map.elems (C.externs state)
            let instructions = reverse (C.instructions state)

            let mainName = mkBSS "main.0"
            let mainFn = GlobalDefinition $ functionDefaults
                { returnType  = void
                , name        = Name mainName
                , basicBlocks = [BasicBlock (mkName "entry") instructions (Do $ Ret Nothing [])]
                }

            case instructions of
                [] -> do
                    let astmod = defaultModule
                        { moduleDefinitions = externs ++ globals 
                        }
                    M.withModuleFromAST ctx astmod $ \mod -> do
                        BS.putStrLn =<< M.moduleLLVMAssembly mod
                        withModuleKey es $ \modKey ->
                            addModule cl modKey mod
                x -> do
                    let astmod = defaultModule
                        { moduleDefinitions = externs ++ globals ++ [mainFn]
                        }
                    M.withModuleFromAST ctx astmod $ \mod -> do
                        BS.putStrLn =<< M.moduleLLVMAssembly mod
                        withModuleKey es $ \modKey ->
                            withModule cl modKey mod $ do
                                res <- (\mangled -> findSymbol cl mangled False) =<< mangleSymbol cl mainName
                                case res of
                                    Left _ -> putStrLn ("Couldn't find: " ++ show mainName)
                                    Right (JITSymbol fn _)-> do
                                        run $ castPtrToFunPtr (wordPtrToPtr fn)

Изолированные модули, такие как этот оператор печати, работают правильно. Модули с главной функцией удаляются из JIT после выполнения: 

print(234);

; ModuleID = '<string>'
source_filename = "<string>"

@0 = constant [4 x i8] c"%d\0A\00"

declare i32 @printf(i8*, ...)

define void @main.0() {
entry:
  %0 = call i32 (i8*, ...) @printf(i8* getelementptr inbounds ([4 x i8], [4 x i8]* @0, i32 0, i32 0), i32 234)
  ret void
}

234

Назначение 4 для символа 'x' приводит к модулю с глобальной переменной, этот модуль не удаляется из JIT: 

x := 4;

; ModuleID = '<string>'
source_filename = "<string>"

@x = global i32 4

Но попытка вывести 'x' в следующем операторе приводит к ошибке поиска для главной функции: 

print(x);

; ModuleID = '<string>'
source_filename = "<string>"

@x = external global i32
@0 = constant [4 x i8] c"%d\0A\00"

declare i32 @printf(i8*, ...)

define void @main.0() {
entry:
  %0 = load i32, i32* @x
  %1 = call i32 (i8*, ...) @printf(i8* getelementptr inbounds ([4 x i8], [4 x i8]* @0, i32 0, i32 0), i32 %0)
  ret void
}

Couldn't find: "main.0"

Похоже, существует проблема с доступом к символам между модулями.

Вещи, которые я пробовал:

  • Доступ к функциям вместо переменных
  • Изменение моего преобразователя символов на использование 'findSymbol' вместо 'getSymbolAddressInProcess', как в llvm- репозиторий hs-examples. Это предотвратило запуск любых модулей.
  • Загрузка репозитория llvm-hs-examples и запуск примера 'or c'. Это также привело к ошибке символа !
  • Повторная загрузка набора инструментов haskell и llvm / llvm-hs (9.0.1) при новой установке linux.

Буду очень признателен за любую помощь!

1 Ответ

1 голос
/ 14 апреля 2020

Решено! Я был смущен распознавателем символов. Он не используется для извлечения символов при использовании 'findSymbol', но на этапе компиляции и компоновки JIT. 'getSymbolAddressInProcess' будет искать только символы в хост-процессе (например, printf), а не символы, определенные в JIT (например, x).

Чтобы использовать модуль в JIT, который извлекает внешний символ 'x' из другого модуля и 'printf' из хост-процесса, необходимо добавить распознаватель символов, который ищет символы как на уровне компиляции JIT, так и на хост-процессе: 

myResolver :: IRCompileLayer ObjectLinkingLayer -> SymbolResolver
myResolver ircl = SymbolResolver $ \mangled -> do
    symbol <- findSymbol ircl mangled False
    case symbol of
        Right _ -> return symbol
        Left _ -> do
            ptr <- getSymbolAddressInProcess mangled
            return $ Right $ JITSymbol
                { jitSymbolAddress = ptr 
                , jitSymbolFlags   = defaultJITSymbolFlags { jitSymbolExported = True }
                }
...