ExecutorService Threads работает медленно - PullRequest
Новая
       12

ExecutorService Threads работает медленно

0 голосов
/ 31 января 2020

Итак, я использую ExecutorService для многопоточности, и поскольку задачи в основном являются проверкой прокси, номера потоков велики (около 1000 потоков). Что ж, когда потоки не добавляются, но их медленно убивают, приложение начинает замедляться, а потоки убиваются все медленнее, пока оно просто не останавливается и не зависает при малых числах (например, 25 потоков).

Как это можно решить без фактического насильственного уничтожения этих потоков и выполнения работы?

РЕДАКТИРОВАТЬ: Доброе утро, я записал мою проблему, чтобы мы могли ее понять, даже по моей неверной интерпретации. https://streamable.com/cgoa6

А вот код этой программы:

Основной класс: 

package me.inao.proxycheck;

import me.inao.proxycheck.menu.Selection;
import java.io.BufferedReader;
import java.io.FileReader;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

public class Main {
    public static void main(String[] args){
        byte mode = new Selection().getNumSelect(new String[]{"Proxy check", "Test2", "Test3"});
        byte proxyType = 0;
        BufferedReader reader = null;
        int threads = 1000;
        ExecutorService pool = Executors.newFixedThreadPool(threads);
        if(mode == 1){
            proxyType = new Selection().getNumSelect(new String[]{"HTTP(s)", "SOCKS"});
            try{
                reader = new BufferedReader(new FileReader("./proxies.txt"));
                String line;
                boolean breakx = false;
                while(true){
                    for(int i = 0; i < (threads+1); i++){
                        line = reader.readLine();
                        byte finalProxyType = proxyType;
                        String finalLine = line;
                        if(finalLine != null){
                            pool.execute(() -> {
                                new Thread().checkProxy(finalLine, finalProxyType);
                            });

                        }else{
                            breakx = true;
                            break;
                        }
                    }
                    if(breakx){
                        break;
                    }
                }
            }catch (Exception e){
                System.out.println("File 'proxies.txt.txt' not found..");
            }
        }
        pool.shutdown();
    }
}

Класс me.inao.proxycheck.Thread: 

package me.inao.proxycheck;

import me.inao.proxycheck.proxy.ProxyCheck;

import java.io.File;
import java.io.FileWriter;
import java.net.Proxy;

public class Thread extends java.lang.Thread {
    public void checkProxy(String line, byte type){
        Proxy proxy = new ProxyCheck().createProxy(line.split(":")[0], line.split(":")[1], type);
        if(new ProxyCheck().isValid(proxy)){
            System.out.println("Found valid: " + proxy.type() + " | " + proxy.address().toString());
            if(!(new File("./proxies/").exists())){
                new File("./proxies").mkdir();
            }
            File f;
            if(type == 1) f = new File("./proxies/workingHTTP.txt");
            else if(type == 2) f = new File("./proxies/workingSOCKS.txt");
            else f = new File("./proxies/workingOTHERS.txt");
            if(f.exists()){
                try{
                    FileWriter wr = new FileWriter(f, true);
                    wr.write(line + "\n");
                    wr.flush();
                    wr.close();
                }catch (Exception e){
                    e.printStackTrace();
                }
            }else{
                try{
                    FileWriter wr = new FileWriter(f);
                    wr.write(line + "\n");
                    wr.flush();
                    wr.close();
                }catch (Exception e){
                    e.printStackTrace();
                }
            }
        }
    }
}

Класс me.inao.proxycheck.proxy.ProxyCheck 

package me.inao.proxycheck.proxy;

import java.net.*;

public class ProxyCheck {
    public Proxy createProxy(String addr, String port, byte type){
        if(addr == null || port == null){
            System.out.println("Provided invalid proxy (null)");
            return null;
        }
        SocketAddress address = new InetSocketAddress(addr, Integer.parseInt(port));
        if(type == 1){
            return new Proxy(Proxy.Type.HTTP, address);
        }
        else if(type == 2){
            return new Proxy(Proxy.Type.SOCKS, address);
        }
        else return null;
    }
    public boolean isValid(Proxy proxy){
        try{
            if(proxy != null){
                URL url = new URL("http://azenv.net/");
                HttpURLConnection conn = (HttpURLConnection)url.openConnection(proxy);
                conn.setRequestMethod("GET");
                conn.setConnectTimeout(5000);
                conn.connect();
                if(conn.getResponseCode() == 200){
                    return true;
                }else{
                    return false;
                }
            }
        }catch (Exception e){
            return false;
        }
        return false;
    }
}

1 Ответ

0 голосов
/ 31 января 2020

Звучит так, как будто вы используете ExecutorService service = Executors.newCachedThreadPool(), когда хотите использовать ExecutorService service = Executors.newFixedThreadPool(n), где n - это количество потоков, которые вы хотите постоянно держать открытыми. Это увеличивает нагрузку на процесс инициализации, но если вы продолжаете выполнять ее в течение всей программы, это решительно поможет решить вашу проблему.

...