jsoup

lzxy 2019-08-27

package cn.itcast.xml.jsoup;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.File;
import java.io.IOException;

/**

  • Jsoup快速入门

*/
public class JsoupDemo1 {

public static void main(String[] args) throws IOException {
    //2.获取Document对象，根据xml文档获取
    //2.1获取student.xml的path
    String path = JsoupDemo1.class.getClassLoader().getResource("student.xml").getPath();
    //2.2解析xml文档，加载文档进内存，获取dom树--->Document
    Document document = Jsoup.parse(new File(path), "utf-8");
    //3.获取元素对象 Element
    Elements elements = document.getElementsByTag("name");

    System.out.println(elements.size());
    //3.1获取第一个name的Element对象
    Element element = elements.get(0);
    //3.2获取数据
    String name = element.text();
    System.out.println(name);
}

}
package cn.itcast.xml.jsoup;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.File;
import java.io.IOException;
import java.net.URL;

/**

  • Jsoup对象功能

*/
public class JsoupDemo2 {

public static void main(String[] args) throws IOException {
    //2.1获取student.xml的path
    String path = JsoupDemo2.class.getClassLoader().getResource("student.xml").getPath();
    //2.2解析xml文档，加载文档进内存，获取dom树--->Document
   /* Document document = Jsoup.parse(new File(path), "utf-8");
    System.out.println(document);*/

   //2.parse​(String html)：解析xml或html字符串
   /* String str = "<?xml version=\"1.0\" encoding=\"UTF-8\" ?>\n" +
            "\n" +
            "<students>\n" +
            "\t<student number=\"heima_0001\">\n" +
            "\t\t<name>tom</name>\n" +
            "\t\t<age>18</age>\n" +
            "\t\t<sex>male</sex>\n" +
            "\t</student>\n" +
            "\t<student number=\"heima_0002\">\n" +
            "\t\t<name>jack</name>\n" +
            "\t\t<age>18</age>\n" +
            "\t\t<sex>female</sex>\n" +
            "\t</student>\n" +
            "\n" +
            "</students>";
    Document document = Jsoup.parse(str);
    System.out.println(document);*/

   //3.parse​(URL url, int timeoutMillis)：通过网络路径获取指定的html或xml的文档对象
    URL url = new URL("https://baike.baidu.com/item/jsoup/9012509?fr=aladdin");//代表网络中的一个资源路径
    Document document = Jsoup.parse(url, 10000);
    System.out.println(document);

}

}
package cn.itcast.xml.jsoup;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.File;
import java.io.IOException;
import java.net.URL;

/**

  • Document/Element对象功能

*/
public class JsoupDemo3 {

public static void main(String[] args) throws IOException {
    //1.获取student.xml的path
    String path = JsoupDemo3.class.getClassLoader().getResource("student.xml").getPath();
    //2.获取Document对象
    Document document = Jsoup.parse(new File(path), "utf-8");

    //3.获取元素对象了。
    //3.1获取所有student对象
    Elements elements = document.getElementsByTag("student");
    System.out.println(elements);

    System.out.println("-----------");


    //3.2 获取属性名为id的元素对象们
    Elements elements1 = document.getElementsByAttribute("id");
    System.out.println(elements1);
    System.out.println("-----------");
    //3.2获取 number属性值为heima_0001的元素对象
    Elements elements2 = document.getElementsByAttributeValue("number", "heima_0001");
    System.out.println(elements2);

    System.out.println("-----------");
    //3.3获取id属性值的元素对象
    Element itcast = document.getElementById("itcast");
    System.out.println(itcast);
}

}
package cn.itcast.xml.jsoup;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.File;
import java.io.IOException;

/**
*Element对象功能
*/
public class JsoupDemo4 {

public static void main(String[] args) throws IOException {
    //1.获取student.xml的path
    String path = JsoupDemo4.class.getClassLoader().getResource("student.xml").getPath();
    //2.获取Document对象
    Document document = Jsoup.parse(new File(path), "utf-8");
    /*
    Element：元素对象
            1. 获取子元素对象
                * getElementById​(String id)：根据id属性值获取唯一的element对象
                * getElementsByTag​(String tagName)：根据标签名称获取元素对象集合
                * getElementsByAttribute​(String key)：根据属性名称获取元素对象集合
                * getElementsByAttributeValue​(String key, String value)：根据对应的属性名和属性值获取元素对象集合

            2. 获取属性值
                * String attr(String key)：根据属性名称获取属性值
            3. 获取文本内容
                * String text():获取所有字标签的纯文本内容
                * String html():获取标签体的所有内容(包括子标签的标签和文本内容)




     */
    //通过Document对象获取name标签，获取所有的name标签，可以获取到两个
    Elements elements = document.getElementsByTag("name");
    System.out.println(elements.size());
    System.out.println("----------------");
    //通过Element对象获取子标签对象
    Element element_student = document.getElementsByTag("student").get(0);
    Elements ele_name = element_student.getElementsByTag("name");
    System.out.println(ele_name.size());

    //获取student对象的属性值
    String number = element_student.attr("NUMBER");
    System.out.println(number);
    System.out.println("------------");
    //获取文本内容
    String text = ele_name.text();
    String html = ele_name.html();
    System.out.println(text);
    System.out.println(html);
}

}
package cn.itcast.xml.jsoup;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.File;
import java.io.IOException;

/**
*选择器查询
*/
public class JsoupDemo5 {

public static void main(String[] args) throws IOException {
    //1.获取student.xml的path
    String path = JsoupDemo5.class.getClassLoader().getResource("student.xml").getPath();
    //2.获取Document对象
    Document document = Jsoup.parse(new File(path), "utf-8");

    //3.查询name标签
    /*
        div{

        }
     */
    Elements elements = document.select("name");
    System.out.println(elements);
    System.out.println("=----------------");
    //4.查询id值为itcast的元素
    Elements elements1 = document.select("#itcast");
    System.out.println(elements1);
    System.out.println("----------------");
    //5.获取student标签并且number属性值为heima_0001的age子标签
    //5.1.获取student标签并且number属性值为heima_0001
    Elements elements2 = document.select("student[number=\"heima_0001\"]");
    System.out.println(elements2);
    System.out.println("----------------");

    //5.2获取student标签并且number属性值为heima_0001的age子标签
    Elements elements3 = document.select("student[number=\"heima_0001\"] > age");
    System.out.println(elements3);

}

}
package cn.itcast.xml.jsoup;

import cn.wanghaomiao.xpath.exception.XpathSyntaxErrorException;
import cn.wanghaomiao.xpath.model.JXDocument;
import cn.wanghaomiao.xpath.model.JXNode;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;

import java.io.File;
import java.io.IOException;
import java.util.List;

/**
*XPath查询
*/
public class JsoupDemo6 {

public static void main(String[] args) throws IOException, XpathSyntaxErrorException {
    //1.获取student.xml的path
    String path = JsoupDemo6.class.getClassLoader().getResource("student.xml").getPath();
    //2.获取Document对象
    Document document = Jsoup.parse(new File(path), "utf-8");

    //3.根据document对象，创建JXDocument对象
    JXDocument jxDocument = new JXDocument(document);

    //4.结合xpath语法查询
    //4.1查询所有student标签
    List<JXNode> jxNodes = jxDocument.selN("//student");
    for (JXNode jxNode : jxNodes) {
        System.out.println(jxNode);
    }

    System.out.println("--------------------");

    //4.2查询所有student标签下的name标签
    List<JXNode> jxNodes2 = jxDocument.selN("//student/name");
    for (JXNode jxNode : jxNodes2) {
        System.out.println(jxNode);
    }

    System.out.println("--------------------");

    //4.3查询student标签下带有id属性的name标签
    List<JXNode> jxNodes3 = jxDocument.selN("//student/name[@id]");
    for (JXNode jxNode : jxNodes3) {
        System.out.println(jxNode);
    }
    System.out.println("--------------------");
    //4.4查询student标签下带有id属性的name标签 并且id属性值为itcast

    List<JXNode> jxNodes4 = jxDocument.selN("//student/name[@id='itcast']");
    for (JXNode jxNode : jxNodes4) {
        System.out.println(jxNode);
    }
}

}

lzxy

lzxy

相关推荐

jsoup爬取某网站安全数据

message = "Hello world, this message is from servlet!

付春杰Blog / 0评论 2019-11-02

使用Jsoup消除不受信任的HTML (来防止XSS攻击)

在做网站的时候，经常会提供用户评论的功能。有些不怀好意的用户，会搞一些脚本到评论内容中，而这些脚本可能会破坏整个页面的行为，更严重的是获取一些机要信息，此时需要清理该HTML，以避免跨站脚本cross-site scripting攻击。XSS HTMLFi

xiluoenm / 0评论 2013-05-20

自制增加人人网访问量的软件，httpclient，jsoup,

我大一曾经刷过人网人气网上也有相关软件，大三了发现自己是学习计算机的为什么还要用别人的软件呢，自己不能设计吗？所以自己就像如何设计刷人人网人气的小外挂。后来问了一下老师，老师说可以用http动态代理,后来就查询相关知识，发现怎么样提取网站的ip，和port

87193155 / 0评论 2011-09-23

Jsoup爬虫获取自己网站在百度搜索中的实时排名

一直有一个需求，希望看到自己网站在百度的实时的排名用过一些工具，要么反应迟钝，要么结果不准确或不实时于是打算用jsoup写一个小爬虫来实时百度看网站排名。public static int timeout = 30 * 1000;

XSxing / 0评论 2019-06-30

【JAVA】使用JSOUP让JAVA取得网页上的文字

因为之前参加比赛摆摊的经验，有很多人都会问关于我们专题是怎么让JAVA / Android的读到网页上的文字，所以我这个无业游民就来回馈大家了!!废话不多说，马上来说明到底要怎么使用JSOUP─HTML/ XML解析取得网页上的文字!!如上图，就是这个左右

wxcmdn / 0评论 2019-06-28

jsoup-消除不受信任的HTML (来防止XSS攻击)

消除不受信任的HTML 问题在做网站的时候，经常会提供用户评论的功能。有些不怀好意的用户，会搞一些脚本到评论内容中，而这些脚本可能会破坏整个页面的行为，更严重的是获取一些机要信息，此时需要清理该HTML，以避免跨站脚本cross-site scriptin

努力的zhiyi / 0评论 2015-07-13

Java爬虫：Jsoup + Phantomjs

（一）JsoupJsoup是一个Java开源HTML解析器，可直接解析某个URL地址、HTML文本内容。通过Dom或Css选择器来查找、取出数据，实现爬虫。通过PhantomJs可以采集Ajax生成的内容。}假设文件名为 c:/baidu.js；在命令行

某先生 / 0评论 2019-06-26

使用Kotlin 和 Jsoup库实现一个极简的HTML Parser库

当我们有了一个网页的源代码HTML，这个时候我们很想像在JavaScript中的DOM API一样操作解析这个页面的元素。百度一下，你就知道我们使用后端代码怎样搞呢？我们使用Kotlin + Jsoup简单实现一个玩玩。<span class=&qu

Chiclaim / 0评论 2019-06-25

使用Jsoup抓取百度的android apk

分析页面源码，写出适当的程序来获取想要的内容。把内容入库，再通过编写down方法。。。。后面的就不说了。主要是对Jsoup的学习。

Danielmumu / 0评论 2013-01-06

使用 jsoup 对 HTML 文档进行解析和操作(比HTMLParser好）

Java 程序在解析 HTML 文档时，相信大家都接触过 htmlparser 这个开源项目，我曾经在 IBM DW 上发表过两篇关于 htmlparser 的文章，分别是：从 HTML 中攫取你所需的信息和扩展 HTMLParser 对自定义标签的处理能

wangnan0 / 0评论 2012-03-15

使用 jsoup 对 HTML 文档进行解析和操作

Java 程序在解析 HTML 文档时，相信大家都接触过 htmlparser 这个开源项目，我曾经在 IBM DW 上发表过两篇关于 htmlparser 的文章，分别是：从 HTML 中攫取你所需的信息和扩展 HTMLParser 对自定义标签的处理能

andyhu00 / 0评论 2011-04-07

jsoup学习

2011-10-2815:00:40|分类：java_js_flex_css|标签：jsoupjava抓取详解|字号订阅。但现在我已经不再使用htmlparser了，原因是htmlparser很少更新，但最重要的是有了jsoup。jsoup是一款Java的

Jym / 0评论 2013-08-28

jsoup 简介

jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。jsoup是基于MIT协议发布的，可放心使用于商业项目。jsoup可以

lanyanai / 0评论 2012-06-01

使用 jsoup 对 HTML 文档进行解析和操作

Java 程序在解析 HTML 文档时，相信大家都接触过 htmlparser 这个开源项目，我曾经在 IBM DW 上发表过两篇关于 htmlparser 的文章，分别是：从 HTML 中攫取你所需的信息和扩展 HTMLParser 对自定义标签的处理能

lanyanai / 0评论 2012-02-22

JAVA爬虫挖取CSDN博客文章

前言之前写过一篇用jsoup爬取csdn博客的文章JAVA爬虫挖取CSDN博客文章，当时博主还在上一家公司实习，由于公司办公网络需要代理才能访问外网，那一篇的代码逻辑与代理密切相关，可能有些不熟悉jsoup怎么使用的朋友看了会感觉越看越糊涂，且当时以为爬取

编程爱好者联盟 / 0评论 2017-02-10

Jsoup问题---获取http协议请求失败 org.jsoup.UnsupportedMimeTypeException: U

Jsoup问题---获取http协议请求失败1、问题：用Jsoup在获取一些网站的数据时，起初获取很顺利，但是在访问某浪的数据是Jsoup报错，应该是请求头里面的请求类型不符合要求。

编程爱好者联盟 / 0评论 2016-12-20

Jsoup使用随记

用jsoup实现数据抓取着实方便，唯一美中不足的是官方API是英文版的，对我这样英语水平不好的程序员来说着实困扰，只能一点点的去实践。Jsoup的一系列解析html操作是基于Document这个实例对象的，实例化方式有很多种，通过url，通过文件，通过字符

编程爱好者联盟 / 0评论 2016-12-12

Jsoup系列学习(2)-解析html文件

解析html文件1、当我们通过发送http请求时，有时候返回结果是一个html格式字符串，你需要从一个网站获取和解析一个HTML文档，并查找其中的相关数据。你可以使用下面解决方法：。输出结果 id="kw" name="wd&

编程爱好者联盟 / 0评论 2016-12-06