solr(3)索引mysql数据

solr

1、修改配置

将数据库驱动jar和solr/dist路径下的solr-dataimporthandler-x.x.x.jar复制到solr-x.x.x/server/solr-webapp/webapp/WEB-INF/lib下
在solr/server/solr/核心/conf路径下添加文件data-config.xml，并添加以下内容（示范如下）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
<dataConfig>
    <!-- url如果包含特殊字符如";"，必须使用html转移字符 -->
    <dataSource driver="com.mysql.jdbc.Driver" url="jdbc:mysql://192.168.100.25:6660/tbcms" user="root" password="123456"/>
    <document>
        <!-- query为全量更新SQL -->
        <entity name="T_TBPackage" pk="TBPackageID" query="select * from T_TBPackage"
            <!-- 每一个field映射着数据库中列与文档中的域，column是数据库列，name是solr的域(必须是在managed-schema文件中配置过的域才行) -->
            <field column="TBPackageID" name="id"/>
            <field column="TBPackageName" name="TBPackageName"/>
            <field column="PackageTypeID" name="PackageTypeID"/>
            <field column="PINCount" name="PINCount"/>
            <field column="PINCenterDistance" name="PINCenterDistance"/>
            <field column="ElementBodyWidth" name="ElementBodyWidth"/>
            <field column="ElementPlasticBodyLength" name="ElementPlasticBodyLength"/>
            <field column="Height" name="Height"/>
            <field column="ExposedPad" name="ExposedPad"/>
        </entity>
    </document>
</dataConfig>

修改solrconfig.xml，添加以下内容

1
2
3
4
5
<requestHandler name="/dataimport" class="solr.DataImportHandler">
      <lst name="defaults">
            <str name="config">data-config.xml</str>
      </lst>
 </requestHandler>

修改managed-schema，添加mysql中需要存入solr的字段（示范如下）

1
2
3
4
5
6
7
<field name="TBPackageName" type="string" indexed="true" stored="true"/>
<field name="PackageTypeID" type="string" indexed="true" stored="true"/>
<field name="PINCount" type="string" indexed="true" stored="true"/>
<field name="PINCenterDistance" type="string" indexed="true" stored="true"/>
<field name="ElementBodyWidth" type="string" indexed="true" stored="true"/>
<field name="ElementPlasticBodyLength" type="string" indexed="true" stored="true"/>
<field name="Height" type="string" indexed="true" stored="true"/>

重启solr

2、全量索引

2.1、执行全量更新

这里写图片描述

2.2、更新成功

这里写图片描述

3、增量索引

3.1、solr默认使用UTC时间，即与中国时差8小时，所以需要修改配置文件bin/solr.in.sh

1
SOLR_TIMEZONE="UTC+8"

3.2、修改mysql数据库的表结构，添加一个时间戳字段，当某行数据发生更新时该字段自动更新为修改数据的时间，为solr增量添加提供服务（范例如下）

1
last_modified timestamp not null on update current_timestamp default current_timestamp

3.3、修改solr/server/solr/核心/conf路径下添加文件data-config.xml，并添加增量SQL（示范如下）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
<dataConfig>
    <!-- url如果包含特殊字符如";"，必须使用html转移字符 -->
    <dataSource driver="com.mysql.jdbc.Driver" url="jdbc:mysql://192.168.100.25:6660/tbcms" user="root" password="123456"/>
    <document>
        <!-- deltaQuery检索出增量更新需要更新的字段 -->
        <entity name="T_TBPackage" pk="TBPackageID" query="select * from T_TBPackage" 
            deltaQuery="select TBPackageID from T_TBPackage where last_modified > '${dih.last_index_time}'">
            <!-- 每一个field映射着数据库中列与文档中的域，column是数据库列，name是solr的域(必须是在managed-schema文件中配置过的域才行) -->
            <field column="TBPackageID" name="id"/>
            <field column="TBPackageName" name="TBPackageName"/>
            <field column="PackageTypeID" name="PackageTypeID"/>
            <field column="PINCount" name="PINCount"/>
            <field column="PINCenterDistance" name="PINCenterDistance"/>
            <field column="ElementBodyWidth" name="ElementBodyWidth"/>
            <field column="ElementPlasticBodyLength" name="ElementPlasticBodyLength"/>
            <field column="Height" name="Height"/>
            <field column="ExposedPad" name="ExposedPad"/>
        </entity>
    </document>
</dataConfig>

3.4、重启solr
3.5、增量更新，此处clean选项必须取消勾选。否则当增量更新成功后，会把没有增量更新的数据删除！！！
这里写图片描述
3.6、更新成功
这里写图片描述
注： 存放上一次更新时间的配置文件为solr/server/solr/核心/conf/dataimport.properties

>