下载溜溜体育(中国)官方网站

单机10博网体育备用网址下载单机10博网体育备用网址下载基地
最新10博网体育备用网址|热门10博网体育备用网址|10博网体育备用网址大全|10博网体育备用网址专题
压缩解压光盘工具文字输入杀毒软件文件处理转换翻译股票证券办公学习编程软件虚拟光驱
当前位置：首页 → 应用软件 → 编程软件 → java爬虫框架WebMagic 0.7.0免费版

下载溜溜体育(中国)官方网站:java爬虫框架WebMagic 0.7.0免费版

  • java爬虫框架WebMagic 0.7.0免费版截图0
< >
java爬虫框架WebMagic 0.7.0免费版下载
好玩 好玩 0
坑爹 坑爹 0
  • 应用语言：中文
  • 应用大小：4.5M
  • 更新时间：2017-05-30 10:22
  • 发行时间：
  • 应用类型：普通
  • 官网：暂无
webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期链接提取、页面下载、内容抽取、持久化，支持多线程抓取，分布式抓取，并支持自动重试、自定[更多]
大小：4.5M
应用介绍

webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。

下载溜溜体育(中国)官方网站:POST支持

新的POST API，支持各种RequestBody #513

Request request = new Request("http://xxx/path"); request.setMethod(HttpConstant.Method.POST); request.setRequestBody(HttpRequestBody.json("{'id':1}","utf-8"));

移除了老的在request.extra中设置NameValuePair的方式

POST请求不再进行去重 #484

下载溜溜体育(中国)官方网站:代理支持

新的代理APIProxyProvider，支持自由扩展

默认实现SimpleProxyProvider是一个简单的round-robin实现，可以添加任意个数的代理。

HttpClientDownloader httpClientDownloader = new HttpClientDownloader(); SimpleProxyProvider proxyProvider = SimpleProxyProvider.from(new Proxy("127.0.0.1", 1087), new Proxy("127.0.0.1", 1088)); httpClientDownloader.setProxyProvider(proxyProvider);

移除了Site上关于代理配置的setProxy等，代理设置统一到HttpClientDownloader里。

新的SimpleHttpClient

用作简单的单次下载和解析时，使用SimpleHttpClient可以满足需求

SimpleHttpClient simpleHttpClient = new SimpleHttpClient(); GithubRepo model = simpleHttpClient.get("github.com/code4craft/webmagic",GithubRepo.class);

下载溜溜体育(中国)官方网站:其他改动

为Page中增加状态码和Http头信息 #406

支持Request级别设置Http Header和Cookie

去掉Site.addStartRequest() , 用Spider.addStartRequest()代替 #494

HttpClientDownloader大幅重构，将Request转换抽象到HttpUriRequestConverter(之前继承HttpClientDownloader的实现可能需要做相应修改) #524

将CycleRetry和statusCode的判断逻辑从Downloader中迁移到Spider中 #527

通过Page.isDownloadSuccess而不是Page对象本身为空来判断是否下载失败

为PageModel增加不发现新URL的功能 #575

为Site增加了disableCookieManagement属性，在不想使用cookie时使用 #577

 

相关应用
相关攻略
下载地址

下载溜溜体育(中国)官方网站:java爬虫框架WebMagic 0.7.0免费版

    评分
    ★
    ★
    ★
    ★
    ★
    力荐
    选择头像:
    请文明发言，遵守社区规范
    10
    999+人评分
    ★★★★★
    ★★★★
    ★★★
    ★★
    ★
    查看更多 >

    下载溜溜体育(中国)官方网站:配置需求

    下载溜溜体育(中国)官方网站:推荐专题

    up对战平台up对战平台

    下载溜溜体育(中国)官方网站:本类下载排行

    关于飞翔 | 联系我们 | 大事记 | 下载帮助(？) | 广告联系 | 版权声明 | 网站地图 | 友情链接

    Copyright 2010-2025 单机10博网体育备用网址下载 (R) 版权所有 飞翔下载所有10博网体育备用网址及软件下载资源来源互联网，并由网友上传分享。如有侵权，请来电来函告之。
    飞翔忠告：抵制不良色情、反动、暴力10博网体育备用网址 合理安排10博网体育备用网址时间 享受健康生活 鄂公网安备：42011102003115号 【鄂ICP备17000818号-1】

    下载溜溜体育(中国)官方网站官网入口(中国)官方网站-IOS/Android通用版（2025已更新）