
网络爬虫软件(nwebcrawler)是一款小巧实用,操作简单,功能强大的免费多线的网页信息抓去工具,采用开源,C#开发的网络爬虫程序。网络爬虫软件(nwebcrawler)功能十分的强大与全面,所有也被网友称为蚂蚁、自动索引、模拟程序、网页蜘蛛、网页机器人等等。该软件适用于的范围相当的广泛,常被用户用于网站的优化。
NwebCrawler是用C#写的一款多线程网络爬虫程序,它的实现原理是先输入一个或多个种子URL到队列中,然后从队列中提取URL(先进先出原则),分析此网页寻找相应标签并获得其href属性值,爬取有用的链接网页并存入网页库中,其中用爬取历史来记录爬过的网页,这样避免了重复爬取。提取URL存入队列中,进行下一轮爬取。所以NwebCrawler的搜索策略为广度优先搜索。采用广度优先策略有利于多个线程并行爬取而且抓取的封闭性很强。
可配置:线程数,等待时间,连接超时,允许MIME类型和优先级,下载文件夹。
统计信息:URL数量,总下载文件,总下载字节数,CPU利用率和可用内存。
Preferential crawler:用户可以设置优先级的MIME类型。
Robust: 10+ URL normalization rules, crawler trap avoiding rules
网络之翼下载(Cyber-Wing)
300.3M / 英文10-21
仙剑奇侠传5角色档案收藏软件
8.3M / 中文07-11
《三国志12》网络对战BETA版官方下载器
197KB / 中文02-25
三国志12网络版官方正式版下载官方出品
586M / 日文02-25
BattleMoonWars银中文版下载(超级机器人大战同人)中文
900M / 中文05-25
网络
37.2M / 中文10-08
暗黑破坏神3服务器测速软件
96KB / 中文07-08
阿玛拉王国:惩罚视野范围修改辅助软件
480KB / 中文07-18
瑞星杀毒软件24.00.11.94 官方安装版
25.9M / 中文12-10
日语记单词软件1.2心泽日语
630KB / 中文07-04
234KB / 01-09
聊天工具
下载
321KB / 01-09
聊天工具
下载
231KB / 01-09
聊天工具
下载
Supermium浏览器32位v138.0.7260.298
网页浏览 / 120M
下载
1
沉迷暗杀表情包无水印版
聊天工具 / 228KB
下载
2
高考陪考团表情包高清无水印版
聊天工具 / 368KB
下载
3
胭脂赵丽颖Q版表情包高清版
聊天工具 / 286KB
下载
4
仮名ゆたか 的仓鼠表情包高清版
聊天工具 / 813KB
下载
5
网页自动刷新获取cookiesv1.0免费版
网页浏览 / 462KB
下载
6
Chromium PortableV43.0.2326.0 绿色免费版
网页浏览 / 85.7M
下载
7
Steam客户端V2.10.91.91 官方版
下载工具 / 1.0M
下载
8
飞来微信群体发送软件(友邦微信营销)V8.6
聊天工具 / 39.8M
下载
9
姚头叹琦表情包v1.0
聊天工具 / 2.5M
下载
10
153M / 06-05
立即下载
444M / 06-05
立即下载
497M / 06-05
立即下载
2.34G / 06-05
立即下载
815.1M / 06-05
立即下载
1.33G / 06-05
立即下载
600M / 06-05
立即下载
18M / 06-04
立即下载
1.35G / 06-04
立即下载
892.3M / 06-04
立即下载
985.7M / 06-08
立即下载
301.0M / 06-08
立即下载
34.60G / 06-08
立即下载
2.63G / 06-08
立即下载
926.0M / 06-08
立即下载
847.0M / 06-08
立即下载
296.2M / 06-05
立即下载
35.0M / 06-05
立即下载
365.2M / 06-05
立即下载
234.2M / 06-05
立即下载
11.2M / 06-05
立即下载 45.5M / 06-05
立即下载 14.1M / 06-05
立即下载 26.2M / 06-05
立即下载 133M / 06-05
立即下载 390.3M / 06-05
立即下载 8M / 06-04
立即下载 156M / 06-04
立即下载 91.7M / 06-04
立即下载 21M / 06-04
立即下载 181.9M / 06-05
立即下载 46M / 06-05
立即下载 88.6M / 06-05
立即下载 29.7M / 06-05
立即下载 870.4M / 06-05
立即下载 44M / 06-05
立即下载 13.7M / 06-05
立即下载 29.30G / 06-04
立即下载 25.34G / 06-04
立即下载 2.73G / 06-04
立即下载 1.05G / 06-05
立即下载 2.49G / 06-01
立即下载 9.84G / 06-01
立即下载 956.1M / 05-28
立即下载 181.5M / 05-28
立即下载 255.9M / 05-28
立即下载 245.1M / 05-28
立即下载 1.07G / 05-28
立即下载 113.2M / 05-28
立即下载 240.0M / 05-28
立即下载 25.7M / 06-05
立即下载 120.5M / 06-05
立即下载 1.10G / 06-05
立即下载 6.09G / 06-04
立即下载 8M / 06-04
立即下载 3.30G / 06-04
立即下载 820.0M / 06-04
立即下载 30.2M / 06-04
立即下载 310.4M / 06-04
立即下载 8M / 06-04
立即下载 231.5M / 06-05
立即下载 79.6M / 06-05
立即下载 17.7M / 06-05
立即下载 499.9M / 06-05
立即下载 160M / 06-04
立即下载 60M / 06-04
立即下载 254.8M / 06-04
立即下载 268M / 06-04
立即下载 232.0M / 06-04
立即下载 1.40G / 12-19
立即下载 35.6M / 06-05
立即下载 4.07G / 06-05
立即下载 222.0M / 06-05
立即下载 13.4M / 01-03
立即下载 293.0M / 09-05
立即下载 1.22G / 07-06
立即下载 20.53G / 07-06
立即下载 229.9M / 07-06
立即下载 3.70G / 07-06
立即下载 904.0M / 07-06
立即下载