图片爬取工具(CrawlWorm Picture) 1.0 中文免费版

CrawlWorm Picture是一款功能实用的图片爬取工具，其主要功能为根据提供的网站地址，能分析出网页源码从而能获取网站的图片资源，而且还能实现将某个网站的图片全部下载同时分类到数据库中。

功能介绍

（1）本技术需配合SQL Server数据库使用

（2）获取图片

在获取图片时，需要用户自己输入要抓取的根网址，这里的根网址需要保证其真实存在，如果不存在则会提示网页源代码获取失败，从而导致任务启动失败。

（3）搜索参数设置

在搜索参数设置的时候，需要慎重考虑其各个参数之间的制约关系，有以下几种情况需要说明。

如果搜索深度设置过大，那么就需要将抓取数据容量设置的大一些，否则任务会因为抓取容量不足而被迫停止抓取工作。

如果能够保证自己的网络连接正常，则选择不使用 代理 服务器。因为使用代理服务器，在任务执行过程中，如果代理服务器失效或者停止活动，则需要重新选择代理服务器，这中间会耗费大量时间来更换代理服务器。

在选择开始执行时间时，不易将执行时间设置的过长，因为设置的过长会使任务长期处于等待状态，建议只有在任务较少的情况下这样设置。

（4）关键字管理

在关键字管理中，需要注意的是在添加主关键字的时候，要同时添加一个与主关键字名字相同的子关键字，因为在图片进行分类的时候，首先比对的是子关键字，只有子关键字匹配之后才能确定其分类归属。

另外需要注意的是，删除主关键字时会将与其相关的所有子关键字一同删除。

（5）多任务

鉴于对任务耗费资源的考虑，同时执行的任务个数设定为5个，超过5个的任务只能处于等待状态，只有5个被执行任务中有结束的，处于等待的任务才能被执行。