AccessibilityService: Можно ли нарисовать пароль на экране удаленного смартфона с помощью мыши? - PullRequest
0 голосов
/ 01 сентября 2018

Я работаю в проекте, похожем на Team View QuickSupport , и я хочу знать, позволяют ли AccessibilityService выполнить на удаленном экране пролистывание, способное нарисовать пароль, который защищает устройство?

enter image description here

Я пробую следующий код, но безуспешно. До сих пор все, что происходит, является исключением для кода Android, который говорит:

java.lang.IllegalStateException: Попытка добавить слишком много штрихов к жесту

здесь:

gestureBuilder.addStroke(new GestureDescription.StrokeDescription(path, 0, time));

Текущий код Java:

    if (xline.contains("mouseswipescreen")) {

     String coords = xline.replace("mouseswipescreen", "");

     String[] tokens = coords.split(Pattern.quote("<|>"));

               float x = parseFloat(tokens[0]);
               float y = parseFloat(tokens[1]);
               String cmd = tokens[2];

     MyAccessibility.instance.Swipte((int) x, (int) y, 50, cmd);
 }

GestureDescription.Builder gestureBuilder;
Path path;

public void Swipte(int x, int y, int time, String command) {

    if (android.os.Build.VERSION.SDK_INT >= android.os.Build.VERSION_CODES.N) {
        System.out.println(" ======= Swipte =======");

        if (command.equalsIgnoreCase("start")) {

            gestureBuilder = new GestureDescription.Builder();
            path = new Path();

            path.moveTo(x, y);

        } else if (command.equalsIgnoreCase("move")) {

            path.lineTo(x, y);
            gestureBuilder.addStroke(new GestureDescription.StrokeDescription(path, 0, time));

        } else if (command.equalsIgnoreCase("dispatch")) {

            dispatchGesture(gestureBuilder.build(), new GestureResultCallback() {
                @Override
                public void onCompleted(GestureDescription gestureDescription) {
                    System.out.println("SWIPTE Gesture Completed :D");
                    super.onCompleted(gestureDescription);
                }
            }, null);
        }
    }

}

Теперь изменим этот код, чтобы выполнить экран прокрутки, который остается таким:

public void Swipte(int x1, int y1, int x2, int y2, int time){

        if (android.os.Build.VERSION.SDK_INT >= android.os.Build.VERSION_CODES.N) {

            System.out.println(" ======= Swipte =======");

            GestureDescription.Builder gestureBuilder = new GestureDescription.Builder();
            Path path = new Path();
            path.moveTo(x1,y1); // "mousedown"
            path.lineTo(x2,y2); // until last position found in "mousemove"

            gestureBuilder.addStroke(new GestureDescription.StrokeDescription(path, 0, time));
            dispatchGesture(gestureBuilder.build(), new GestureResultCallback() {
                @Override
                public void onCompleted(GestureDescription gestureDescription) {
                    System.out.println("SWIPTE Gesture Completed :D");
                    super.onCompleted(gestureDescription);
                }
            }, null);
        }

    }

Результат таков:

enter image description here

Смотри, что нарисован неверный пароль.

Наконец, следует код (Delphi), который отправляет координаты ( ссылка ) на основе первого кода Java выше:

 private
    { Private declarations }
    fDown: Boolean;
    fPO: TPoint;
  public
    { Public declarations }
  end;

  ...

procedure TForm2.Image1MouseDown(Sender: TObject; Button: TMouseButton;
  Shift: TShiftState; X, Y: Integer);
var
  Index, XTouch, YTouch, RXCoord, RYCoord: Integer;
  List: TStrings;
  RScreen, Start: String;
begin
  Index := Form1.ListView1.ItemIndex;
  if Index = -1 then
    Exit;

    List := TStringList.Create;
    RScreen := Form1.ListView1.Selected.SubItems[6]; // Remote screen resolution

    try
      ExtractStrings(['x'], [], PChar(RScreen), List); // Ex: my smartphone is 1920x1080
      RYCoord := StrToInt(List[0]);                    // 1920 (height)
      RXCoord := StrToInt(List[1]);                    // 1080 (width)
    finally
      List.Free;
    end;

    XTouch := Round((X / Image1.Width) * RXCoord);
    YTouch := Round((Y / Image1.Height) * RYCoord);

    fPO := Point(XTouch, YTouch);
    Start := 'start';
    fDown := true;

    Form1.ServerSocket1.Socket.Connections[Index].SendText(format('mouseswipescreen%d<|>%d<|>%s'#13#10, [fPO.X, fPO.Y, Start]));

  end;
end;

procedure TForm2.Image1MouseMove(Sender: TObject; Shift: TShiftState;
  X, Y: Integer);
var
  Index, XTouch, YTouch, RXCoord, RYCoord: Integer;
  List: TStrings;
  RScreen, Move: String;
begin

  Index := Form1.ListView1.ItemIndex;
  if Index = -1 then
    Exit;

  List := TStringList.Create;
  RScreen := Form1.ListView1.Selected.SubItems[6]; // Remote screen resolution

  try
    ExtractStrings(['x'], [], PChar(RScreen), List); // Ex: my smartphone is 1920x1080
    RYCoord := StrToInt(List[0]);                    // 1920 (height)
    RXCoord := StrToInt(List[1]);                    // 1080 (width)
  finally
    List.Free;
  end;

  XTouch := Round((X / Image1.Width) * RXCoord);
  YTouch := Round((Y / Image1.Height) * RYCoord);

  if fDown then
  begin

    Move := 'move';

    Form1.ServerSocket1.Socket.Connections[Index].SendText(format('mouseswipescreen%d<|>%d<|>%s'#13#10, [fPO.X, fPO.Y, Move]));

    fPO := Point(XTouch, YTouch);

  end;

end;

procedure TForm2.Image1MouseUp(Sender: TObject; Button: TMouseButton;
  Shift: TShiftState; X, Y: Integer);
begin
  if fDown then
    fDown := false;
end;

1 Ответ

0 голосов
/ 02 сентября 2018

Хорошо, я отвечаю на свой вопрос, уже что эксперты в AccessibilityService думают, что я создаю вредоносное ПО, а не помогаю таким людям.


ОТВЕТ:

Мой подход выше верен, и, к сожалению, до этого момента не было видно, что невозможно достичь этой цели с помощью AccessibilityService, поскольку существует ограничение на хранение жестов , здесь официальный справочник:

addStroke(new GestureDescription.StrokeDescription(path, 0, time));

А также, до сих пор (в данном случае) AccessibilityService не может выполнить жест касания « только нажать и не потерять » в какой-то момент (из 9 пунктов, составляющих экран пароля) ) когда выполняются и отправляются 2 быстрых щелчка мышью:

procedure TForm2.Image1MouseDown(Sender: TObject; Button: TMouseButton;
  Shift: TShiftState; X, Y: Integer);

перед запуском и во время рисования пароля (перетаскивание мышью), и разблокируйте только тогда, когда пароль будет нарисован полностью и:

procedure TForm2.Image1MouseUp(Sender: TObject; Button: TMouseButton;
  Shift: TShiftState; X, Y: Integer);

быть отправлено на удаленное устройство.


EDIT:

Примечание: Team View QuickSupport способен на это, потому что использует код root, предоставленный ему несколькими поставщиками .

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...