Кафа-стример, замедляется со временем - PullRequest
Новая
       32

Кафа-стример, замедляется со временем

0 голосов
/ 27 января 2020

Я работаю с kafka streamer, который при запуске помещает 10k rec / se c и после примерно 1 миллиона записей в кеше он замедляется до 2000rec / se c с 500 до 100. Я не получаю что не так. Если это связано с dataPages, Threads или чем-то еще.

Ниже приведены журналы: 

Metrics for local node (to disable set 'metricsLogFrequency' to 0)
    ^-- Node [id=367b9688, uptime=00:50:00.246]
    ^-- H/N/C [hosts=5, nodes=6, CPUs=80]
    ^-- CPU [cur=4.6%, avg=23.52%, GC=0%]
    ^-- PageMemory [pages=12052]
    ^-- Heap [used=3222MB, free=77.04%, comm=4085MB]
    ^-- Off-heap [used=47MB, free=99.93%, comm=10576MB]
    ^--   sysMemPlc region [used=0MB, free=99.21%, comm=40MB]
    ^--   default region [used=0MB, free=100%, comm=256MB]
    ^--   500MB_Region region [used=46MB, free=99.91%, comm=10240MB]
    ^--   TxLog region [used=0MB, free=100%, comm=40MB]
    ^-- Outbound messages queue [size=0]
    ^-- Public thread pool [active=0, idle=0, qSize=0]
    ^-- System thread pool [active=0, idle=6, qSize=0]
[2020-01-27 09:48:19,368][INFO ][grid-timeout-worker-#39][IgniteKernal] FreeList [name=null, buckets=256, dataPages=8527, reusePages=0]

Конфигурация области зажигания и данных 

<bean class="org.apache.ignite.configuration.IgniteConfiguration">


        <property name="publicThreadPoolSize" value="64"/>

        <property name="systemThreadPoolSize" value="32"/>

    <property name="dataStorageConfiguration">
        <bean class="org.apache.ignite.configuration.DataStorageConfiguration">
            <property name="dataRegionConfigurations">
                <list>

                    <bean class="org.apache.ignite.configuration.DataRegionConfiguration">

                        <property name="name" value="500MB_Region"/>


                        <property name="initialSize" value="#{10L * 1024 * 1024 * 1024}"/>


                        <property name="maxSize" value="#{50L * 1024 * 1024 * 1024}"/>


                    </bean>
                </list>
            </property>
        </bean>
    </property>

Конфигурация кэша 

<property name="cacheConfiguration">
        <list>
            </bean>
            <bean class="org.apache.ignite.configuration.CacheConfiguration">
                <property name="name" value="AllEvents"/>
                <property name="dataRegionName" value="500MB_Region"/>
                <property name="cacheMode" value="PARTITIONED"/>
                <property name="queryParallelism" value="25"/>
                <property name="affinity">
                    <bean class="org.apache.ignite.cache.affinity.rendezvous.RendezvousAffinityFunction">
                        <property name="excludeNeighbors" value="true"/>
                        <property name="partitions" value="2048"/>
                    </bean>
                </property>
            </bean>
        </list>
    </property>
...