Hadoop简介

sujins 2020-05-29

Hadoop

简介:

两大核心:HDFS+MapReduce

Hadoop1.0,Hadoop2.0

Linux:基础

shell,sudo

Hadoop集群的部署与使用

先访问nameNode 存储DataNode

JobTracker TaskTracker

分布式文件系统

伪分布式:就是吧名称节点和数据节点放在同一个机器上

HDFS:

兼容链家的硬件设备,支持大数据集,实现流数据读写,支持简单的文件模型,跨平台兼容性

局限性:不适合底延迟数据访问,无法高校储存大量的小文件,不支持多用户写入任意修改文件

HDFS相关概念

块:整个HDFS的核心

为了支持面向大规模数据存储

减低分布式结点寻址开销

元数据:文件是什么,文件被分成多少块,每个块和文件是怎么映射的,每个块存储子啊那个服务器上面

名称节点:

HDFS运行:底层名称节点,EditLog各项操作-》新的元数据-》新的名称节点,空的EditLog

把新的名称节点不断放在EditLog里EditLog会太大

所以诞生了第二名称节点,名称节点的冷备份,恢复需要时间

数据节点

负责存储相关数据,在运行过程中不停给名称节点发送心跳信息

HDFS储存原理

冗余数据保存:加快数据传输,容易检查数据错误,保证数据可靠性

发现错误:由管家进行调整(名称节点)

Hadoop简介

依赖注入(DI)

Dependency Injection

概念

  • 依赖注入(Dependency Injection,DI)。

  • 依赖 : 指Bean对象的创建依赖于容器 . Bean对象的依赖资源 .

  • 注入 : 指Bean对象所依赖的资源 , 由容器来设置和装配 .

构造器注入

我们在之前的案例已经讲过了

Set 注入 (重点)

要求被注入的属性 , 必须有set方法 , set方法的方法名由set + 属性首字母大写 , 如果属性是boolean类型 , 没有set方法 , 是 is .

测试pojo类 :

Address.java

Student.java

  package com.kuang.pojo;   import java.util.List;  import java.util.Map;  import java.util.Properties;  import java.util.Set;  public class Student {        private String name;      private Address address;       private String[] books;       private List<String> hobbys;     private Map<String,String> card;     private Set<String> games;     private String wife;     private Properties info;     public void setName(String name) {         this.name = name;       }      public void setAddress(Address address) {         this.address = address;                                                    }       public void setBooks(String[] books) {          this.books = books;     }     public void setHobbys(List<String> hobbys) {         this.hobbys = hobbys;                                                 }      public void setCard(Map<String, String> card) {                       this.card = card;                                                    }      public void setGames(Set<String> games) {          this.games = games;     }      public void setWife(String wife) {         this.wife = wife;     }           public void setInfo(Properties info) {         this.info = info;    }      public void show(){         System.out.println("name="+ name                             + ",address="+                             address.getAddress()                             + ",books="        );          for (String book:books){             System.out.print("<<"+book+">>\t");        }         System.out.println("\n爱好:"+hobbys);          System.out.println("card:"+card);          System.out.println("games:"+games);          System.out.println("wife:"+wife);          System.out.println("info:"+info);     } }

1、常量注入

  <bean id="student" class="com.kuang.pojo.Student">     <property name="name" value="小明"/> </bean>

测试:

  @Test public void test01(){     ApplicationContext context = newClassPathXmlApplicationContext("applicationContext.xml");      Student student = (Student) context.getBean("student");      System.out.println(student.getName());  }

2、Bean注入

注意点:这里的值是一个引用,ref

  <bean id="addr" class="com.kuang.pojo.Address">     <property name="address" value="重庆"/> </bean>  <bean id="student" class="com.kuang.pojo.Student">     <property name="name" value="小明"/>     <property name="address" ref="addr"/> </bean>

3、数组注入

  <bean id="student" class="com.kuang.pojo.Student">     <property name="name" value="小明"/>     <property name="address" ref="addr"/>     <property name="books">         <array>             <value>西游记</value>             <value>红楼梦</value>             <value>水浒传</value>         </array>     </property> </bean>

4、List注入

  <property name="hobbys">     <list>         <value>听歌</value>         <value>看电影</value>         <value>爬山</value>     </list> </property>

5、Map注入

  <property name="card">     <map>         <entry key="中国邮政" value="456456456465456"/>         <entry key="建设" value="1456682255511"/>     </map> </property>

6、set注入

  <property name="games">     <set>         <value>LOL</value>         <value>BOB</value>         <value>COC</value>     </set> </property>

7、Null注入

  <property name="wife"><null/></property>

8、Properties注入

  <property name="info">     <props>         <prop key="学号">20190604</prop>         <prop key="性别">男</prop>         <prop key="姓名">小明</prop>     </props> </property>

测试结果:

p命名和c命名注入

  • User.java :【注意:这里没有有参构造器!】
  public class User {   private String name;   private int age;   public void setName(String name) {   this.name = name;    }  public void setAge(int age) {   this.age = age;    }  @Override   public String toString() {   return "User{" +   "name=‘" + name + ‘\‘‘ +   ", age=" + age +                 ‘}‘;    } }

1、P命名空间注入 : 需要在头文件中加入约束文件

  导入约束 :  xmlns:p="http://www.springframework.org/schema/p" ? <!--P(属性: properties)命名空间 , 属性依然要设置set方法-->  <bean id="user" class="com.kuang.pojo.User" p:name="狂神" p:age="18"/>

2、c 命名空间注入 : 需要在头文件中加入约束文件

  导入约束 :  xmlns:c="http://www.springframework.org/schema/c"     <!--C(构造: Constructor)命名空间 , 属性依然要设置set方法-->  <bean id="user" class="com.kuang.pojo.User" c:name="狂神" c:age="18"/>

发现问题:爆红了,刚才我们没有写有参构造!

解决:把有参构造器加上,这里也能知道,c 就是所谓的构造器注入!

测试代码:

  @Test public void test02(){     ApplicationContext context = newClassPathXmlApplicationContext("applicationContext.xml");     User user = (User) context.getBean("user");                System.out.println(user); }

Bean的作用域

在Spring中,那些组成应用程序的主体及由Spring IoC容器所管理的对象,被称之为bean。简单地讲,bean就是由IoC容器初始化、装配及管理的对象 .

几种作用域中,request、session作用域仅在基于web的应用中使用(不必关心你所采用的是什么web应用框架),只能用在基于web的Spring ApplicationContext环境。

Singleton

当一个bean的作用域为Singleton,那么Spring IoC容器中只会存在一个共享的bean实例,并且所有对bean的请求,只要id与该bean定义相匹配,则只会返回bean的同一实例。Singleton是单例类型,就是在创建起容器时就同时自动创建了一个bean的对象,不管你是否使用,他都存在了,每次获取到的对象都是同一个对象。注意,Singleton作用域是Spring中的缺省作用域。要在XML中将bean定义成singleton,可以这样配置:

  <bean id="ServiceImpl" class="cn.csdn.service.ServiceImpl" scope="singleton">

测试:

  @Test public void test03(){     ApplicationContext context = newClassPathXmlApplicationContext("applicationContext.xml");     User user = (User) context.getBean("user");     User user2 = (User) context.getBean("user");     System.out.println(user==user2); }

Prototype

当一个bean的作用域为Prototype,表示一个bean定义对应多个对象实例。Prototype作用域的bean会导致在每次对该bean请求(将其注入到另一个bean中,或者以程序的方式调用容器的getBean()方法)时都会创建一个新的bean实例。Prototype是原型类型,它在我们创建容器的时候并没有实例化,而是当我们获取bean的时候才会去创建一个对象,而且我们每次获取到的对象都不是同一个对象。根据经验,对有状态的bean应该使用prototype作用域,而对无状态的bean则应该使用singleton作用域。在XML中将bean定义成prototype,可以这样配置:

  <bean id="account" class="com.foo.DefaultAccount" scope="prototype"/>    或者 <bean id="account" class="com.foo.DefaultAccount" singleton="false"/>

Request

当一个bean的作用域为Request,表示在一次HTTP请求中,一个bean定义对应一个实例;即每个HTTP请求都会有各自的bean实例,它们依据某个bean定义创建而成。该作用域仅在基于web的Spring ApplicationContext情形下有效。考虑下面bean定义:

  <bean id="loginAction" class="cn".csdn.LoginAction" scope="request"/>

针对每次HTTP请求,Spring容器会根据loginAction bean的定义创建一个全新的LoginAction bean实例,且该loginAction bean实例仅在当前HTTP request内有效,因此可以根据需要放心的更改所建实例的内部状态,而其他请求中根据loginAction bean定义创建的实例,将不会看到这些特定于某个请求的状态变化。当处理请求结束,request作用域的bean实例将被销毁。

Session

当一个bean的作用域为Session,表示在一个HTTP Session中,一个bean定义对应一个实例。该作用域仅在基于web的Spring ApplicationContext情形下有效。考虑下面bean定义:

  <bean id="userPreferences" class="com.foo.UserPreferences" scope="session"/>

针对某个HTTP Session,Spring容器会根据userPreferences bean定义创建一个全新的userPreferences bean实例,且该userPreferences bean仅在当前HTTP Session内有效。与request作用域一样,可以根据需要放心的更改所创建实例的内部状态,而别的HTTP Session中根据userPreferences创建的实例,将不会看到这些特定于某个HTTP Session的状态变化。当HTTP Session最终被废弃的时候,在该HTTP Session作用域内的bean也会被废弃掉。

相关推荐