博客主要是写一些新手比较容易遇到的教程和问题。如果一俩句就说清楚的问题就不写了,可以留言我尽量及时回复你。祝大家生活愉快O(∩_∩)O

phpspider一款优秀的基于PHP开发蜘蛛爬虫

PHP liaoxiansheng 363℃

PHP蜘蛛爬虫开发文档《我用爬虫一天时间“偷了”知乎一百万用户,只为证明PHP是世界上最好的语言》所使用的程序框架编写PHP网络爬虫,需要具备以下技能:爬虫采用PHP编写从网页中抽取数据需要用XPath当然我们还可以使用CSS选择器很多情况下都会用到正则表达式Chrome的开发者工具是神器,很多AJAX请求需要用它来分析注意:本框架只能在命令行下运行,命令行、命令行、命令行,重要的事情说三遍^_^

PHP蜘蛛爬虫开发文档

《我用爬虫一天时间“偷了”知乎一百万用户,只为证明PHP是世界上最好的语言 》所使用的程序框架

编写PHP网络爬虫, 需要具备以下技能:

  • 爬虫采用PHP编写
  • 从网页中抽取数据需要用XPath
  • 当然我们还可以使用CSS选择器
  • 很多情况下都会用到正则表达式
  • Chrome的开发者工具是神器, 很多AJAX请求需要用它来分析

注意:本框架只能在命令行下运行,命令行、命令行、命令行,重要的事情说三遍 ^_^

第一个demo

爬虫采用PHP编写, 下面以糗事百科为例, 来看一下我们的爬虫长什么样子:

$configs = array(
    'name' => '糗事百科',
    'domains' => array(
        'qiushibaike.com',
        'www.qiushibaike.com'
    ),
    'scan_urls' => array(
        'http://www.qiushibaike.com/'
    ),
    'content_url_regexes' => array(
        "http://www.qiushibaike.com/article/\d+"
    ),
    'list_url_regexes' => array(
        "http://www.qiushibaike.com/8hr/page/\d+\?s=\d+"
    ),
    'fields' => array(
        array(
            // 抽取内容页的文章内容
            'name' => "article_content",
            'selector' => "//*[@id='single-next-link']",
            'required' => true
        ),
        array(
            // 抽取内容页的文章作者
            'name' => "article_author",
            'selector' => "//div[contains(@class,'author')]//h2",
            'required' => true
        ),
    ),
);
$spider = new phpspider($configs);
$spider->start();

爬虫的整体框架就是这样, 首先定义了一个$configs数组, 里面设置了待爬网站的一些信息, 然后通过调用$spider = new phpspider($configs);和$spider->start();来配置并启动爬虫.

运行界面如下:

$configs对象如何定义, 后面会作详细介绍.^_^


官方下载地址:https://github.com/owner888/phpspider

官方开发手册:https://doc.phpspider.org/

转载请注明:贤生博客 » phpspider一款优秀的基于PHP开发蜘蛛爬虫

喜欢 (1)or分享 (0)
让学习成为一种习惯!      欢迎加入新手交流群450394582      带新手上路