Веб-скребок не может загрузить ресурсы, встроенные в javascript - PullRequest
Новая
       9

Веб-скребок не может загрузить ресурсы, встроенные в javascript

0 голосов
/ 17 апреля 2020

Я использую библиотеку pywebcopy для загрузки сайта. Поэтому я go просматриваю каждую веб-страницу и скачиваю все встроенные в нее ресурсы, используя метод save_complete.

Но если ресурс встроен в исходный код, как показано ниже, метод не загружает его. Очевидно, javascript рендеринг не поддерживается в библиотеке. Как я могу загрузить веб-страницу "bla", указанную в приведенном ниже коде? И другие подобные ресурсы, приведенные ниже, являются лишь примером ... есть еще много подобных и без какого-либо паттерна. 

<script>
        function load(str)
                                {
                                        $date=str.split("-");
                                        $.ajax({
                                                          type: "POST",
                                                          data: "month="+$date[0]+"&year="+$date[1],
                                                          url: "/bla/bla/bla/bla.php",
                                                          success: function(data){
                                                                $("#eventCalendarInline").html(data);
                                                                eventclick();
                                                                $(".custom_cell_event").tooltip(
                                                                {
                                                                                  content: function () {
                                                                                          return $(this).prop('title');
                                                                                  }
                                                                }
                                                                );
                                                          }

                                                });

                                }
</script>
...