四大搜索引擎爬虫软件,抓遍全世界

已有 3494 人阅读此文 | 2016-07-04 01:30 | 来源: 刘传鹏博客 | 作者: 刘传鹏

网络爬虫

爬虫,即网络爬虫,是一种自动获取网页内容的程序。是搜索引擎的重要组成部分,因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。

网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂,需要根据一定的网页分析算法过滤与主题无关的链接,保留有用的链接并将其放入等待抓取的URL队列。然后,它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL,并重复上述过程,直到达到系统的某一条件时停止。另外,所有被爬虫抓取的网页将会被系统存贮,进行一定的分析、过滤,并建立索引,以便之后的查询和检索;对于聚焦爬虫来说,这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

本文汇总的是爬虫软件,而非大型、复杂的搜索引擎,毕竟很多兄弟只是想爬取数据,而非运营一个搜索引擎。

1、crawlzilla

crawlzilla 是一个帮你轻松建立搜索引擎的自由软件,有了它,你就不用依靠商业公司的搜索引擎,也不用再烦恼公司內部网站资料索引的问题。

由 nutch 专案为核心,并整合更多相关套件,并卡发设计安装与管理UI,让使用者更方便上手。

crawlzilla 除了爬取基本的 html 外,还能分析网页上的文件,如( doc、pdf、ppt、ooo、rss )等多种文件格式,让你的搜索引擎不只是网页搜索引擎,而是网站的完整资料索引库。

拥有中文分词能力,让你的搜索更精准。

crawlzilla的特色与目标,最主要就是提供使用者一个方便好用易安裝的搜索平台。

  • 授权协议: Apache License 2
  • 开发语言: Java JavaScript SHELL
  • 操作系统: Linux
  • 项目主页: https://github.com/shunfa/crawlzilla
  • 下载地址: http://sourceforge.net/projects/crawlzilla/
  • 特点:安装简易,拥有中文分词功能

2、Heritrix

Heritrix 是一个由 java 开发的、开源的网络爬虫,用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性,方便用户实现自己的抓取逻辑。

Heritrix采用的是模块化的设计,各个模块由一个控制器类(CrawlController类)来协调,控制器是整体的核心。

  • 代码托管:https://github.com/internetarchive/heritrix3
  • 授权协议: Apache
  • 开发语言: Java
  • 操作系统: 跨平台
  • 特点:严格遵照robots文件的排除指示和META robots标签

3、webmagic

webmagic的是一个无须配置、便于二次开发的爬虫框架,它提供简单灵活的API,只需少量代码即可实现一个爬虫。

web magic 爬虫

webmagic采用完全模块化的设计,功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化),支持多线程抓取,分布式抓取,并支持自动重试、自定义UA/cookie等功能。

网路爬虫-magic

webmagic包含强大的页面抽取功能,开发者可以便捷的使用css selector、xpath和正则表达式进行链接和内容的提取,支持多个选择器链式调用。

webmagic的使用文档:http://webmagic.io/docs/

查看源代码:http://git.oschina.net/flashsword20/webmagic

  • 授权协议: Apache
  • 开发语言: Java
  • 操作系统: 跨平台
  • 特点:功能覆盖整个爬虫生命周期,使用Xpath和正则表达式进行链接和内容的提取。
  • 备注:这是一款国产开源软件,由 黄亿华贡献

4、ThinkUp

ThinkUp 是一个可以采集推特,facebook等社交网络数据的社会媒体视角引擎。通过采集个人的社交网络账号中的数据,对其存档以及处理的交互分析工具,并将数据图形化以便更直观的查看。

网络爬虫-thinkup

网路爬虫-thinkup-map

  • 授权协议: GPL
  • 开发语言: PHP
  • 操作系统: 跨平台
  • github源码:https://github.com/ThinkUpLLC/ThinkUp

本文地址: http://liuchuanpeng.com/wangluoyingxiao/649.html

已有 8 人评论 网友评论

必填

选填

选填

刘传鹏博客|专注分享互联网商业模式和网站运营推广策略的博客