solr搜索word文档内容如何使用solr创建富文本索引

作者: zzz36146196
来源: 51数据库
2020-04-21

Solr支持从富文本文件中，如pdf,word中抽取内容建立索引。

首先，需要配置支持这一功能的requestHandler。编辑solrconfig.xml,加入：

<requestHandlername="/update/extract"class="solr.extraction.ExtractingRequestHandler">

<lstname="defaults">

<strname="fmap.content">content</str>

<strname="fmap.Content-Type">Content-Type</str>

<strname="uprefix">ignored_</str>

</lst>

<lstname="date.formats">

</lst>

</requestHandler>

solr.extraction.ExtractingRequestHandler就是solr中用来处理富文本的handler。为了使用这个类我们我们需要拷贝jar包：solr-dataimporthandler-extras.jar到lib目录，并确认solrconfig.xml中的lib配置包含它。

ExtractingRequestHandler底层实际是使用apache Tika进行文件内容抽取的，

</div>

调用/update/extract完成文件索引

调用/update/extrac的方式有很多种，下面介绍使用solr4j api在java工程里调用：

//建立客户端连接

SolrClientclient=newHttpSolrClient("http://localhost:8080/solr/core1");

//单个文件索引

publicvoidindexFromFile(StringfileName,Stringid)throwsException{

//ContentStreamUpdateRequest是专门用来提交文件的

ContentStreamUpdateRequestrequest=newContentStreamUpdateRequest("/update/extract");

StringcontentType="application/text";

request.addFile(newFile(fileName),contentType);

//literal.xxx文件以外的字段，xxx将直接映射到schema.xml中的同名字段

request.setParam("literal.id",String.valueOf(id));

request.setParam("literal.author",author);

request.setParam("literal.title",tilte);

request.setAction(AbstractUpdateRequest.ACTION.OPTIMIZE,true,true);

client.request(request);

client.commit();

}

publicstaticvoidmain(String[]args){

try{

SolrManangerclient=newSolrMananger();

client.indexFromFile("e:/apache-solr-ref-guide-5.3.pdf",1,"Justn","solr-ref");

}catch(Exceptione){

e.printStackTrace();

}

运行后，查看solr控制台，使用query验证文件是否成功索引。

solr实现原理，为什么用solr

我们生活中的数据总体分为两种：结构化数据和非结构化数据。

结构化数据：指具有固定格式或有限长度的数据，如数据库，元数据等。
非结构化数据：指不定长或无固定格式的数据，如邮件，word文档等。

bitnami apache solr 怎么用

BitNami Apache Solr Stack是一个来开发和部署Java应用程序的环境，它包括预配置，Apache和MySQL的准备运行的版本，使用户可以得到环境和回答了几个问题后，在几分钟内运行。支持在Windows，Linux，Linux的64和Mac OS X操作系统。

BitNami Apache Solr实现栈是从Apache Lucene项目的企业平台。其主要功能包括强大的全文搜索，命中高亮面搜索，动态聚类，数据库整合，丰富的文档（如Word，PDF格式）处理，地理信息搜索。

算法工程师应该学哪些

一、算法工程师简介

（通常是月薪15k以上，年薪18万以上，只是一个概数，具体薪资可以到招聘网站如拉钩，猎聘网上看看）

算法工程师目前是一个高端也是相对紧缺的职位；

算法工程师包括

音/视频算法工程师（通常统称为语音/视频/图形开发工程师）、图像处理算法工程师、计算机视觉算法工程师、通信基带算法工程师、信号算法工程师、射频/通信算法工程师、自然语言算法工程师、数据挖掘算法工程师、搜索算法工程师、控制算法工程师（云台算法工程师，飞控算法工程师，机器人控制算法）、导航算法工程师（

@之介

感谢补充）、其他【其他一切需要复杂算法的行业】

专业要求：计算机、电子、通信、数学等相关专业；

学历要求：本科及其以上的学历，大多数是硕士学历及其以上；

语言要求：英语要求是熟练，基本上能阅读国外专业书刊，做这一行经常要读论文；

必须掌握计算机相关知识，熟练使用仿真工具MATLAB等，必须会一门编程语言。

算法工程师的技能树（不同方向差异较大，此处仅供参考）

1 机器学习

2 大数据处理：熟悉至少一个分布式计算框架Hadoop/Spark/Storm/ map-reduce/MPI

3 数据挖掘

4 扎实的数学功底

5 至少熟悉C/C++或者Java，熟悉至少一门编程语言例如java/python/R

加分项：具有较为丰富的项目实践经验（不是水论文的哪种）

二、算法工程师大致分类与技术要求

（一）图像算法/计算机视觉工程师类

包括

图像算法工程师，图像处理工程师，音/视频处理算法工程师，计算机视觉工程师

要求

专业：计算机、数学、统计学相关专业；

技术领域：机器学习，模式识别

技术要求：

（1）精通DirectX HLSL和OpenGL GLSL等shader语言，熟悉常见图像处理算法GPU实现及优化；

（2）语言：精通C/C++；

（3）工具：Matlab数学软件，CUDA运算平台，VTK图像图形开源软件【医学领域：ITK，医学图像处理软件包】

（4）熟悉OpenCV/OpenGL/Caffe等常用开源库；

（5）有人脸识别，行人检测，视频分析，三维建模，动态跟踪，车识别，目标检测跟踪识别经历的人优先考虑；

（6）熟悉基于GPU的算法设计与优化和并行优化经验者优先；

（7）【音/视频领域】熟悉H.264等视频编解码标准和FFMPEG，熟悉rtmp等流媒体传输协议，熟悉视频和音频解码算法，研究各种多媒体文件格式，GPU加速；

应用领域：

（1）互联网：如美颜app

（2）医学领域：如临床医学图像

（3）汽车领域

（4）人工智能

相关术语：

（1） OCR：OCR （Optical Character Recognition，光学字符识别）是指电子设备（例如扫描仪或数码相机）检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程

（2） Matlab：商业数学软件；

（3） CUDA： (Compute Unified Device Architecture)，是显卡厂商NVIDIA推出的运算平台（由ISA和GPU构成）。 CUDA™是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题

（4） OpenCL: OpenCL是一个为异构平台编写程序的框架，此异构平台可由CPU，GPU或其他类型的处理器组成。

（5） OpenCV：开源计算机视觉库；OpenGL：开源图形库；Caffe：是一个清晰，可读性高，快速的深度学习框架。

（6） CNN：（深度学习）卷积神经网络（Convolutional Neural Network）CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。

（7）开源库：指的是计算机行业中对所有人开发的代码库，所有人均可以使用并改进代码算法。

（二）机器学习工程师

包括

机器学习工程师

要求

专业：计算机、数学、统计学相关专业；

技术领域：人工智能，机器学习

技术要求：

（1）熟悉Hadoop/Hive以及Map-Reduce计算模式，熟悉Spark、Shark等尤佳；

（2）大数据挖掘；

（3）高性能、高并发的机器学习、数据挖掘方法及架构的研发；

应用领域：

（1）人工智能，比如各类仿真、拟人应用，如机器人

（2）医疗用于各类拟合预测

（3）金融高频交易

（4）互联网数据挖掘、关联推荐

（5）无人汽车，无人机

相关术语：

（1） Map-Reduce：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。

（三）自然语言处理工程师

包括

自然语言处理工程师

要求

专业：计算机相关专业；

技术领域：文本数据库

技术要求：

（1）熟悉中文分词标注、文本分类、语言模型、实体识别、知识图谱抽取和推理、问答系统设计、深度问答等NLP 相关算法；

（2）应用NLP、机器学习等技术解决海量UGC的文本相关性；

（3）分词、词性分析、实体识别、新词发现、语义关联等NLP基础性研究与开发；

（4）人工智能，分布式处理Hadoop；

（5）数据结构和算法；

应用领域：

口语输入、书面语输入

、语言分析和理解、语言生成、口语输出技术、话语分析与对话、文献自动处理、多语问题的计算机处理、多模态的计算机处理、信息传输与信息存储、自然语言处理中的数学方法、语言资源、自然语言处理系统的评测。

相关术语：

（2） NLP：人工智能的自然语言处理，NLP (Natural Language Processing) 是人工智能（AI）的一个子领域。NLP涉及领域很多，最令我感兴趣的是“中文自动分词”（Chinese word segmentation）：结婚的和尚未结婚的【计算机中却有可能理解为结婚的“和尚“】

（四）射频/通信/信号算法工程师类

包括

3G/4G无线通信算法工程师，通信基带算法工程师，DSP开发工程师（数字信号处理），射频通信工程师，信号算法工程师

要求

专业：计算机、通信相关专业；

技术领域：2G、3G、4G，BlueTooth（蓝牙），WLAN，无线移动通信, 网络通信基带信号处理

技术要求：

（1）了解2G，3G，4G，BlueTooth，WLAN等无线通信相关知识，熟悉现有的通信系统和标准协议，熟悉常用的无线测试设备；

（2）信号处理技术，通信算法；

（3）熟悉同步、均衡、信道译码等算法的基本原理；

（4）【射频部分】熟悉射频前端芯片，扎实的射频微波理论和测试经验，熟练使用射频电路仿真工具（如ADS或MW或Ansoft）；熟练使用cadence、altium designer PCB电路设计软件；

（5）有扎实的数学基础，如复变函数、随机过程、数值计算、矩阵论、离散数学

应用领域：

通信

VR【用于快速传输视频图像，例如乐客灵境VR公司招募的通信工程师（数据编码、流数据）】

物联网，车联网

导航，军事，卫星，雷达

相关术语：

（1）基带信号：指的是没有经过调制（进行频谱搬移和变换）的原始电信号。

（2）基带通信（又称基带传输）：指传输基带信号。进行基带传输的系统称为基带传输系统。传输介质的整个信道被一个基带信号占用.基带传输不需要调制解调器，设备化费小，具有速率高和误码率低等优点,.适合短距离的数据传输，传输距离在100米内，在音频市话、计算机网络通信中被广泛采用。如从计算机到监视器、打印机等外设的信号就是基带传输的。大多数的局域网使用基带传输，如以太网、令牌环网。

（3）射频：射频（RF）是Radio Frequency的缩写，表示可以辐射到空间的电磁频率（电磁波），频率范围从300KHz～300GHz之间（因为其较高的频率使其具有远距离传输能力）。射频简称RF射频就是射频电流，它是一种高频交流变化电磁波的简称。每秒变化小于1000次的交流电称为低频电流，大于10000次的称为高频电流，而射频就是这样一种高频电流。高频(大于10K)；射频（300K-300G）是高频的较高频段；微波频段（300M-300G）又是射频的较高频段。【有线电视就是用射频传输方式】

（4） DSP：数字信号处理，也指数字信号处理芯片

（五）数据挖掘算法工程师类

包括

推荐算法工程师，数据挖掘算法工程师

要求

专业：计算机、通信、应用数学、金融数学、模式识别、人工智能；

技术领域：机器学习，数据挖掘

技术要求：

（1）熟悉常用机器学习和数据挖掘算法，包括但不限于决策树、Kmeans、SVM、线性回归、逻辑回归以及神经网络等算法；

（2）熟练使用SQL、Matlab、Python等工具优先；

（3）对Hadoop、Spark、Storm等大规模数据存储与运算平台有实践经验【均为分布式计算框架】

（4）数学基础要好，如高数，统计学，数据结构

加分项：数据挖掘建模大赛；

应用领域

（1）个性化推荐

（2）广告投放

（3）大数据分析

solr搜索word文档内容 如何使用solr创建富文本索引

solr实现原理，为什么用solr

bitnami apache solr 怎么用

算法工程师应该学哪些

solr搜索word文档内容如何使用solr创建富文本索引