Альтернатива openjdk: 8-alpine для потоков Кафки

Question

Я использую openjdk: 8-alpine для развертывания приложения Kafka Streams.Я использую Windowing, и он вылетает с ошибкой ниже:

Exception in thread "app-4a382bdc55ae-StreamThread-1" java.lang.UnsatisfiedLinkError: /tmp/librocksdbjni94709417646402513.so: Error loading shared library ld-linux-x86-64.so.2: No such file or directory (needed by /tmp/librocksdbjni94709417646402513.so)
    at java.lang.ClassLoader$NativeLibrary.load(Native Method)
    at java.lang.ClassLoader.loadLibrary0(ClassLoader.java:1941)
    at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1824)
    at java.lang.Runtime.load0(Runtime.java:809)
    at java.lang.System.load(System.java:1086)
    at org.rocksdb.NativeLibraryLoader.loadLibraryFromJar(NativeLibraryLoader.java:78)
    at org.rocksdb.NativeLibraryLoader.loadLibrary(NativeLibraryLoader.java:56)
    at org.rocksdb.RocksDB.loadLibrary(RocksDB.java:64)
    at org.rocksdb.RocksDB.<clinit>(RocksDB.java:35)
    at org.rocksdb.Options.<clinit>(Options.java:22)
    at org.apache.kafka.streams.state.internals.RocksDBStore.openDB(RocksDBStore.java:116)
    at org.apache.kafka.streams.state.internals.Segment.openDB(Segment.java:43)
    at org.apache.kafka.streams.state.internals.Segments.getOrCreateSegment(Segments.java:91)
    at org.apache.kafka.streams.state.internals.RocksDBSegmentedBytesStore.put(RocksDBSegmentedBytesStore.java:100)
    at org.apache.kafka.streams.state.internals.RocksDBSessionStore.put(RocksDBSessionStore.java:122)
    at org.apache.kafka.streams.state.internals.ChangeLoggingSessionBytesStore.put(ChangeLoggingSessionBytesStore.java:78)
    at org.apache.kafka.streams.state.internals.ChangeLoggingSessionBytesStore.put(ChangeLoggingSessionBytesStore.java:33)
    at org.apache.kafka.streams.state.internals.CachingSessionStore.putAndMaybeForward(CachingSessionStore.java:177)
    at org.apache.kafka.streams.state.internals.CachingSessionStore.access$000(CachingSessionStore.java:38)
    at org.apache.kafka.streams.state.internals.CachingSessionStore$1.apply(CachingSessionStore.java:88)
    at org.apache.kafka.streams.state.internals.NamedCache.flush(NamedCache.java:142)
    at org.apache.kafka.streams.state.internals.NamedCache.flush(NamedCache.java:100)
    at org.apache.kafka.streams.state.internals.ThreadCache.flush(ThreadCache.java:127)
    at org.apache.kafka.streams.state.internals.CachingSessionStore.flush(CachingSessionStore.java:193)
    at org.apache.kafka.streams.state.internals.MeteredSessionStore.flush(MeteredSessionStore.java:169)
    at org.apache.kafka.streams.processor.internals.ProcessorStateManager.flush(ProcessorStateManager.java:244)
    at org.apache.kafka.streams.processor.internals.AbstractTask.flushState(AbstractTask.java:195)
    at org.apache.kafka.streams.processor.internals.StreamTask.flushState(StreamTask.java:332)
    at org.apache.kafka.streams.processor.internals.StreamTask$1.run(StreamTask.java:312)
    at org.apache.kafka.streams.processor.internals.StreamsMetricsImpl.measureLatencyNs(StreamsMetricsImpl.java:208)
    at org.apache.kafka.streams.processor.internals.StreamTask.commit(StreamTask.java:307)
    at org.apache.kafka.streams.processor.internals.StreamTask.commit(StreamTask.java:297)
    at org.apache.kafka.streams.processor.internals.AssignedTasks$1.apply(AssignedTasks.java:67)
    at org.apache.kafka.streams.processor.internals.AssignedTasks.applyToRunningTasks(AssignedTasks.java:357)
    at org.apache.kafka.streams.processor.internals.AssignedTasks.commit(AssignedTasks.java:347)
    at org.apache.kafka.streams.processor.internals.TaskManager.commitAll(TaskManager.java:403)
    at org.apache.kafka.streams.processor.internals.StreamThread.maybeCommit(StreamThread.java:994)
    at org.apache.kafka.streams.processor.internals.StreamThread.runOnce(StreamThread.java:811)
    at org.apache.kafka.streams.processor.internals.StreamThread.runLoop(StreamThread.java:750)
    at org.apache.kafka.streams.processor.internals.StreamThread.run(StreamThread.java:720)

В поисках вышеуказанной проблемы я столкнулся с https://issues.apache.org/jira/browse/KAFKA-4988. Но это не помогло.

Итак,Alpine использует musl-libc, но он не поддерживается RocksDB.Проблема с добавлением поддержки musl-libc в RocksDB: facebook / rocksdb # 3143 .

Вопрос: существует ли какой-либо образ докера openjdk, с помощью которого я могу запустить приложение Kafka Stream и которыйне даст проблему с порогами?

Edit-1: я пытался RUN apk add --no-cache bash libc6-compat, но он тоже не работает с ошибкой ниже:

# A fatal error has been detected by the Java Runtime Environment:
#
#  SIGSEGV (0xb) at pc=0x000000000011e336, pid=1, tid=0x00007fc6a3cc8ae8
#
# JRE version: OpenJDK Runtime Environment (8.0_181-b13) (build 1.8.0_181-b13)
# Java VM: OpenJDK 64-Bit Server VM (25.181-b13 mixed mode linux-amd64 compressed oops)
# Derivative: IcedTea 3.9.0
# Distribution: Custom build (Tue Oct 23 11:27:22 UTC 2018)
# Problematic frame:
# C  0x000000000011e336
#
# Failed to write core dump. Core dumps have been disabled. To enable core dumping, try "ulimit -c unlimited" before starting Java again

Answer 1

Решение, которое работало для меня, состояло в том, чтобы изменить образ докера с openjdk:8-alpine на adoptopenjdk/openjdk8:alpine-slim.

adoptopenjdk/openjdk8:alpine-slim - glibc-совместимый.

Iузнал об этом изображении от http://blog.gilliard.lol/2018/11/05/alpine-jdk11-images.html.

Надеюсь, это кому-нибудь поможет.

Answer 2

Билет, с которым вы связались, https://issues.apache.org/jira/browse/KAFKA-4988, дает глубокое понимание проблемы.

Как уже отмечалось, похоже, что RocksDB не совместим с musl libc, и что потребуется glibc,

Установка libc6-compact может не сработать: она обеспечивает уровень совместимости над musl libc, который имитирует структуру библиотеки glibc и реализует некоторые отсутствующие функции, но это не то же самое, что установка glibc per se.glibc - сложная реализация, поэтому может не быть корреляции 1-на-1 между библиотекой совместимости и фактическим glibc.См. здесь для некоторых незначительных различий между musl / glibc.

При чтении комментариев к тикету, неисправная библиотека может быть librocksdbjni.so, что зависит от libstdc ++ 6.

Поэтому я бы попробовал следующее (с openjdk:8-alpine в качестве базового образа):

• Убедитесь, что установлен пакет libstdc++;
• Installglibc вручную, как в этом Dockerfile (урезанная версия glibc Dockerfile anapsix / docker-alpine-java ).