如果数据是通过Javascript加载的,如何使用php Goutte和Guzzle进行爬网？

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了如果数据是通过Javascript加载的,如何使用php Goutte和Guzzle进行爬网？，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1228字，纯文字阅读大概需要2分钟。

内容图文

很多时候,当我们遇到问题时,我们会遇到使用Javascript生成页面上呈现的内容的问题,因此scrapy无法为其抓取(例如,ajax请求,jQuery)

解决方法:

你想看看phantomjs.有这个PHP实现：

http://jonnnnyw.github.io/php-phantomjs/

如果你需要让它与PHP一起工作当然.

你可以阅读页面,然后将内容提供给Guzzle,以便使用Guzzle给你的好功能(比如搜索内容等等).这取决于你的需求,也许你可以简单地使用dom,如下所示：

How to get element by class name?

这是一些工作代码.

  $content = $this->getHeadlessReponse($url);
  $this->crawler->addContent($this->getHeadlessReponse($url));

  /**
   * Get response using a headless browser (phantom in this case).
   *
   * @param $url
   *   URL to fetch headless
   *
   * @return string
   *   Response.
   */
public function getHeadlessReponse($url) {
    // Fetch with phamtomjs
    $phantomClient = PhantomClient::getInstance();
    // and feed into the crawler.
    $request = $phantomClient->getMessageFactory()->createRequest($url, 'GET');

    /**
     * @see JonnyW\PhantomJs\Http\Response
     **/
    $response = $phantomClient->getMessageFactory()->createResponse();

    // Send the request
    $phantomClient->send($request, $response);

    if($response->getStatus() === 200) {
        // Dump the requested page content
        return $response->getContent();
    }

}

使用幻像的唯一缺点是它会比guzzle慢??,但当然,你必须等待所有那些讨厌的js加载.

内容总结

以上是互联网集市为您收集整理的如果数据是通过Javascript加载的,如何使用php Goutte和Guzzle进行爬网？全部内容，希望文章能够帮你解决如果数据是通过Javascript加载的,如何使用php Goutte和Guzzle进行爬网？所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端