Обсуждение:
Проблема, вероятно, по крайней мере из моего тестирования, связана с тем, что по одной из ссылок нет таблицы Details of changes, поэтому установлена переменная numberOfRowsна 0, и эта строка:
ReDim results(1 To numberOfRows, 1 To 7)
завершается с ошибкой индекса, поскольку у вас есть (1 To 0, 1 To 7).
При использовании этой ссылки в A1 имеется 30URL получены.Эта извлеченная ссылка не имеет этой таблицы, в то время как другие имеют.
У вас есть выбор, как справиться с этим сценарием.Вот несколько примеров вариантов:
Опция 1: Обрабатывать страницу только если numberOfRows > 0.Вот пример, который я привожу.
Вариант 2: Имейте Select Case с numberOfRows, а если Case 0, то обрабатывайте страницу одним способом, Case Else обрабатывает как обычно.
Примечание:
1) Вы также хотите сбросить строку состояния с помощью:
Application.StatusBar = False
2) Я временно исправилдиапазон ссылок для тестирования:
ThisWorkbook.Worksheets("Sheet1").Range("A2:A31")
TODO:
- Рефакторинг для большей модульности и запуска всего процесса с тем же экземпляром IE,Создание класса для хранения объекта IE было бы хорошей идеей.Предоставьте ему методы для извлечения ваших данных, тестирования количества строк результатов и т. Д.
- Добавьте базовую обработку ошибок, например, для обработки неудачного подключения к веб-сайту.
Пример обработки с использованием теста numberOfRows> 0:
Option Explicit
Sub ScrapeLink()
Dim IE As New InternetExplorer
Application.ScreenUpdating = False
With IE
IE.Visible = True
IE.navigate Cells(1, 1).Value
While .Busy Or .readyState < 4: DoEvents: Wend
' Application.Wait Now + TimeSerial(0, 0, 3)
Application.StatusBar = "Trying to go to website?"
DoEvents
Dim links As Object, i As Long
Set links = .document.querySelectorAll("#bm_ajax_container [href^='/market/listed-companies/company-announcements/']")
For i = 1 To links.Length
With ThisWorkbook.Worksheets("Sheet1")
.Cells(i + 1, 1) = links.item(i - 1)
End With
Next i
.Quit
End With
Application.StatusBar = false
End Sub
Public Sub GetInfo()
Dim IE As New InternetExplorer, headers(), u As Long, resultCollection As Collection
headers = Array("URL", "Name", "No", "Date of change", "# Securities", "Type of Transaction", "Nature of Interest")
Set resultCollection = New Collection
Dim links()
links = Application.Transpose(ThisWorkbook.Worksheets("Sheet1").Range("A2:A31")) '<== I have fixed the range here for testing
With IE
.Visible = True
For u = LBound(links) To UBound(links)
If InStr(links(u), "http") > 0 Then
.navigate links(u)
While .Busy Or .readyState < 4: DoEvents: Wend
Application.Wait Now + TimeSerial(0, 0, 2)
Dim data As Object, title As Object
With .document.getElementById("bm_ann_detail_iframe").contentDocument
Set title = .querySelector(".formContentData")
Set data = .querySelectorAll(".ven_table tr")
End With
Dim results(), numberOfRows As Long, i As Long, currentRow As Object, td As Object, c As Long, r As Long
numberOfRows = Round(data.Length / 4, 0)
If numberOfRows > 0 Then
ReDim results(1 To numberOfRows, 1 To 7)
For i = 0 To numberOfRows - 1
r = i + 1
results(r, 1) = links(u): results(r, 2) = title.innerText
Set currentRow = data.item(i * 4 + 1)
c = 3
For Each td In currentRow.getElementsByTagName("td")
results(r, c) = Replace$(td.innerText, "document.write(rownum++);", vbNullString)
c = c + 1
Next td
Next i
resultCollection.Add results
Set data = Nothing: Set title = Nothing
End If
End If
Next u
.Quit
End With
Dim ws As Worksheet, item As Long
If Not resultCollection.Count > 0 Then Exit Sub
If Not Evaluate("ISREF('Results'!A1)") Then '<==Credit to @Rory for this test
Set ws = Worksheets.Add
ws.NAME = "Results"
Else
Set ws = ThisWorkbook.Worksheets("Results")
ws.Cells.Clear
End If
Dim outputRow As Long: outputRow = 2
With ws
.Cells(1, 1).Resize(1, UBound(headers) + 1) = headers
For item = 1 To resultCollection.Count
Dim arr()
arr = resultCollection(item)
For i = LBound(arr, 1) To UBound(arr, 1)
.Cells(outputRow, 1).Resize(1, 7) = Application.WorksheetFunction.Index(arr, i, 0)
outputRow = outputRow + 1
Next
Next
End With
End Sub
Результаты выборки:
