MODI MiSelectRects получает неправильные координаты

Question

У меня есть приложение Windows Form, которое при запуске запускает Firefox, захватывает процесс и дескриптор окна, делает снимок экрана Firefox, сохраняет его на диск (temp.bmp) и вызывает ProcessGetWindow. Я в основном использую MiSelectRects в MODI, чтобы захватить прямоугольник вокруг слова, которое я ищу, а затем использую AutoIT, чтобы щелкнуть мышью по слову.

Проблема в том, что мои координаты отклонены примерно на 10 пикселей сверху.

Есть идеи, что может быть не так? Вот функция, которая выполняет обработку. Я закомментировал обработку AutoIT, и я просто отлаживаю с помощью MessageBox, чтобы показать мне фактические координаты. Затем я подтверждаю с помощью инструмента «Информация о окне» в AutoIT, и он определенно отключен ... я что-то не так делаю или что-то не так с MODI?

public void ProcessGetWindow(Bitmap image)
        {           
            Document modiDoc = null;
            MiDocSearch modiSearch = null;
            IMiSelectableItem modiTextSel = null;
            MiSelectRects modiSelectRects = null;
            MiSelectRect modiSelectRect = null;
            MiRects modiRects = null;
            int intSelInfoPN;
            string intSelInfoTop;
            int intSelInfoBottom;
            string intSelInfoLeft;
            int intSelInfoRight;            

            // Load an existing image file.
            modiDoc = new Document();
            modiDoc.Create(@"C:\\temp.bmp");

            // Perform OCR.
            modiDoc.Images[0].OCR();

            // Search for the selected word.
            modiSearch = new MiDocSearch();
            modiSearch.Initialize(modiDoc, "Click Me", 0, 0, false, false);
            modiSearch.Search(null, ref modiTextSel);       

            try
            {          
                modiSelectRects = modiTextSel.GetSelectRects();
            }
            catch (COMException)
            {
                MessageBox.Show("Me thinks that the OCR didn't work right!");
            }

            foreach (MiSelectRect mr in modiSelectRects)
            {
                //intSelInfoPN = mr.PageNumber.ToString();
                intSelInfoTop = mr.Top.ToString();
                //intSelInfoBottom = mr.Bottom;
                intSelInfoLeft = mr.Left.ToString();
                //intSelInfoRight = mr.Right;

                /*AutoItX3 auto = new AutoItX3();
                auto.AutoItSetOption("MouseCoordMode", 2);
                auto.MouseClick("", intSelInfoLeft, intSelInfoTop, 1, 80);*/

                MessageBox.Show("Coordinates: " + intSelInfoLeft + ", " + intSelInfoTop, "Coordinates", MessageBoxButtons.OK);            
            }

            //string textResult = modiTextSel.Text;

            //MessageBox.Show(textResult, "Search Results", MessageBoxButtons.OK);

            // Close this dialog.
            Application.Exit();
        }

Answer 1

Я использую ту же программу, чтобы найти местоположение.

int centerwidth = (intSelInfoRight - intSelInfoLeft)/2;
                centerwidth = intSelInfoLeft + centerwidth;
                 int centerheight = (intSelInfoBottom - intSelInfoTop)/2;
                 centerheight = centerheight + intSelInfoTop;

Вы можете найти точную среднюю точку текста, используя его.

Но эта программа всегда дает местоположение1-е вхождение слова, а не для следующих.Пожалуйста, дайте мне знать, как найти местоположение текста в любом случае.

Answer 2

 MODI.Document modiDoc = null;
    MODI.MiDocSearch modiSearch = null;
    MODI.IMiSelectableItem modiTextSel = null;
    MODI.MiSelectRects modiSelectRects = null;
    MODI.MiSelectRect modiSelectRect = null;
    MODI.MiRects modiRects = null;
    int intSelInfoPN;
    int intSelInfoTop;
    int intSelInfoBottom;
    int intSelInfoLeft;
    int intSelInfoRight;

    // Load an existing image file.
    modiDoc = new MODI.Document();
    modiDoc.Create(@"C:\Users\h117953\Desktop\OCR\1.jpg");

    // Perform OCR.
    //modiDoc.Images[0].OCR();
    //MODI.Image image = (MODI.Image)modiDoc.Images[0];
    modiDoc.OCR(MiLANGUAGES.miLANG_ENGLISH);
    MODI.Image modiImage = (modiDoc.Images[0] as MODI.Image);


    //string ocrtext = @"C:\Users\h117953\Desktop\OCR\Sample.txt";

    //File.WriteAllText(ocrtext, modiImage.Layout.Text);

    // Search for the selected word.
    //int wordindex
    modiSearch = new MODI.MiDocSearch();
    //date to search 
    modiSearch.Initialize(modiDoc, "Deer", 0, 2, false, false);
    modiSearch.Search(null, ref modiTextSel);
    if (modiTextSel == null)
    {
        Response.Write("\nText not found \n");


    }
    else
    {
        Response.Write("\nText is found \n");
        try
        {
            modiSelectRects = modiTextSel.GetSelectRects();
        }
        catch (Exception)
        {
            Response.Write("Me thinks that the OCR didn't work right!");
        }

        int centerwidth = 0;
        int centerheight = 0;

        foreach (MODI.MiSelectRect mr in modiSelectRects)
        {  
            //intSelInfoPN = mr.PageNumber.ToString();
            intSelInfoTop = mr.Top;
            intSelInfoBottom = mr.Bottom;
            intSelInfoLeft = mr.Left;
            intSelInfoRight = mr.Right;


            // MessageBox.Show("Coordinates: " + intSelInfoLeft + ", " + intSelInfoTop, "Coordinates", MessageBoxButtons.OK);
            //  MessageBox.Show("Coordinates: " + intSelInfoRight + ", " + intSelInfoBottom, "Coordinates", MessageBoxButtons.OK);
            centerwidth = (intSelInfoRight - intSelInfoLeft) / 2;
            centerwidth = intSelInfoLeft + centerwidth;
            centerwidth = (intSelInfoBottom - intSelInfoTop) / 2;
            centerheight = centerheight + intSelInfoTop;

            //MessageBox.Show("Coordinates: " + centerwidth + ", " + centerheight, "Coordinates", MessageBoxButtons.OK);
            Response.Write("the Widht and Height co-ordinates are (Width,Height)= ({0},{1})" + centerwidth + ","+ centerheight);



        }

Answer 3

Я не знаком с представленными инструментами, но из того, что я прочитал, функция GetSelectRects возвращает ограничивающий прямоугольник, который является самым маленьким прямоугольником, который содержит весь выбор, в данном случае слово, которое вы искали.Я полагаю, что происходит то, что вы щелкаете по углу ограничивающего прямоугольника, а не по центру, где находится слово.

Рассчитайте координаты центра прямоугольника и попробуйте щелкнуть это:1004 *

int height = mr.Bottom - mr.Top;
int width = mr.Right - mr.Left;

AutoItX3 auto = new AutoItX3();
auto.AutoItSetOption("MouseCoordMode", 2);
auto.MouseClick("", width/2, height/2, 1, 80);