向日葵Solros 2014-06-03
1、 读驻留在关系数据库中的数据
2、 根据多个表的列和数据建立solr文档
3、 根据这些文档更新solr
4、 提供根据配置做处理
5、 删除,修改,增加做增量导入
6、 定期的增量导入和全量导入
7、 通过配置文件读取xml,(http/ftp)建立索引
8、 提供插件使得其他任何数据源(FTP,SCP等)和其他格式的用户选择(JSON,CSV等)提供支持。
Handler应该配置到solrconfig.xml中,如下面
<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">/home/username/data-config.xml</str>
</lst>
</requestHandler>
故名思想,这个类实现了SolrRequestHandler(SolrRequestHandler使用.doc),配置在两个地方提供:
1、solrconfig.xml, 数据配置文件的位置添加在这里
2、数据源也可以添加在这里。或者配置在data-config.xml中
3、Data-config.xml
a) 如何获取数据(queries,url等)
b) 怎么读取( resultset columns,xml字段等)
c) 怎么执行(修改/添加/删除)
为了使用这个处理程序,下面的步骤是必需的。
1、定义一个data-config.xml文件,并且在solrconf.xml中DataImportHandler的节点下指定位置。
2、给连接信息,(如果你选择把数据源存储在solrconfig.xml中)
3、如果一切正常,HTTP打开dataimporthandler页面来验证 ,http://localhost:8983/solr/dataimport
4、使用全量导入,将会把数据库中所有数据添加到solr索引中。
5、使用增量导入,将会把数据库中(新增的或修改的)数据添加到solr索引中。
在dataConfig标签下添加一个dataSource标签。
<dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost/dbname" user="db_username" password="db_password"/>
1、 dataSource配置也可以被添加到solrconfig.xml 中
2、属性”type”指定实现类,它是可选的。默认值是“jdbcdatasource”
3、属性名称,可以在多个实体使用多个数据源的应用
4、自定义插件的实现【solr数据库导入数据自定义插件的实现.doc】
首先,需要下载oracle 的jdbc驱动到你 solr安装目录的lib下面。
<dataSource name="jdbc" driver="oracle.jdbc.driver.OracleDriver" url="jdbc:oracle:thin:@//hostname:port/SID" user="db_username" password="db_password"/>
可以配置有多个数据源,配置一个额外的数据源,新添加一个dataSource配置即可,有一个隐含的属性“name”,数据源名称。如果有一个以上的,每一个额外的数据源必须确定一个唯一的名称的名称=“datasource-2”。
例如
<dataSource type="JdbcDataSource" name="ds-1" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://db1-host/dbname" user="db_username" password="db_password"/>
<dataSource type="JdbcDataSource" name="ds-2" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://db2-host/dbname" user="db_username" password="db_password"/>
在你的实体中
..
<entity name="one" dataSource="ds-1" ...>
..
</entity>
<entity name="two" dataSource="ds-2" ...>
..
</entity>
..
JdbcDataSource 可使用的属性有:
· driver (必须的): The jdbc driver classname
· url (必须的) : The jdbc connection url (如果jndiName配置了,就不是必须的)
· user : 用户名
· password : 密码
· jndiName : JNDI name of the preconfigured datasource
· batchSize : The batchsize used in jdbc connection. Use a value of '-1' in case of setFetchSize() exception.
· convertType :(true/false)默认为“false”自动读取目标Solr数据类型的数据
· autoCommit : If set to 'false' it sets setAutoCommit(false) Solr1.4
· readOnly : If this is set to 'true' , it sets setReadOnly(true), setAutoCommit(true),setTransactionIsolation(TRANSACTION_READ_UNCOMMITTED),setHoldability(CLOSE_CURSORS_AT_COMMIT) on the connection
· <!--[endif]-->transactionIsolation : The possible values are [TRANSACTION_READ_UNCOMMITTED, TRANSACTION_READ_COMMITTED, TRANSACTION_REPEATABLE_READ,TRANSACTION_SERIALIZABLE,TRANSACTION_NONE]
任何额外的属性将标签直接传递到JDBC驱动程序。
Solr的文档可以来自数据库的多个表,
Data-config.xml 开始于document 标签,一种文档代表了一个文档,文档包含一个或多个根实体。一根实体可以包含多个子实体,这反过来又可以包含其他实体。一个实体对应关系数据库中的表/视图。每个实体可以包含多个域。每个字段对应的结果集的列在实体查询返回的。每个领域,在结果集的提列名称。如果列名称不同Solr字段名称,另一个属性的名称应给予,所有的属性,比如type类型,都将从solr中schemal.xml中寻找。
为了从数据库中获取数据,我们的设计理念,围绕“模板化的SQL '为每个实体的用户。
参考网址
http://wiki.apache.org/solr/DataImportHandler