jsoup 简介
jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
jsoup的主要功能如下：
1. 从一个URL，文件或字符串中解析HTML；
2. 使用DOM或CSS选择器来查找、取出数据；
3. 可操作HTML元素、属性、文本；
需要使用的是jsoup-1.7.3.jar包 如果需要查看文档和下载请访问官网：http://jsoup.org
抓取网页数据 http://www.xicidaili.com/nt/：
public static List<MyIp> getIpFromText(String url) {
List<MyIp> ipList = new ArrayList<MyIp>();
try {
Document doc = Jsoup.connect(url)
.userAgent("Mozilla")
.cookie("auth", "token")
.timeout(3000)
.get();
String ipStr = doc.body().text().trim().toString();
String[] ips1=ipStr.split("HTTP");
for (String ip : ips1) {
ip=ip.trim().replaceAll("[A-Za-z\u4e00-\u9fa5]", "").trim();
//System.out.println(ip);
String[] sip=ip.split("\\s");
MyIp myIp=new MyIp(sip[0],sip[1]);
ipList.add(myIp);
}
} catch (IOException e) {
System.out.println("加载文档出错");
}
return ipList;
}