凤凰军事新闻抓取，必须用java语言，要用java爬虫框架吗？用哪个框架？-百姓知道

2 个回答

Night Silent | 2017-07-20 17:31:28 广告

爬不爬的都无所谓了，你需要的只是一个好用的html解析库而已。个人推荐jsoup。

本问答由Night Silent提供
Night Silent | 2017-07-20 17:04:18 广告

推荐如下的java开源爬虫或抓取框架
1.webmagic
【猪猪-后端】WebMagic框架搭建的爬虫，根据自定义规则，直接抓取，使用灵活，Demo部署即可查看。
官站：WebMagic

2.jsoup
Java网络爬虫jsoup和commons-httpclient使用示例教程源代码
搜索"jsoup"的分享列表
官站：jsoup Java HTML Parser, with best of DOM, CSS, and jquery

3.apache httpclient
java爬虫实现之httpClient4.2.1 连接池管理客户端请求抓取页面简单示例
搜索"httpclient"的分享列表
HttpClient - HttpClient Home

4.如果觉得框架用起来复杂，其实完全可以通过java.net.HttpURLConnection来实现。
java通过java.net.HttpURLConnection类抓取网页源码工具类分享
搜索"HttpURLConnection"的分享列表

参考下爬虫相关的源码demo吧：
搜索"爬虫"的分享列表
搜索"抓取"的分享列表

本问答由Night Silent提供

简单，快速，搞得定！