编程随笔-ElasticSearch知识导图(1):全景
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了编程随笔-ElasticSearch知识导图(1):全景,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2842字,纯文字阅读大概需要5分钟。
内容图文
![编程随笔-ElasticSearch知识导图(1):全景](/upload/InfoBanner/zyjiaocheng/843/6c901d87d7db47ea976dcf8fda2155d6.jpg)
1. 由ElasticSearch开始的思考
??官方介绍Elasticsearch(以下简称ES)是一个基于Apache Lucene(TM)的开源搜索引擎。但我最初了解ES却是从NoSQL数据库开始,在使用、研究了ES一段时间后,我发现这是一个优秀的分布式部署软件,不仅是一个全文搜索引擎、还是一个分布式存储系统、一个分布式数据库。
??在ES之前我们习惯使用关系数据库(RDBMS)来进行现实数据世界的建模,将现实世界中的领域模式表示为实体-关系模型(E-R模型)。但现实世界的领域本体(Ontology)是如此复杂,领域对象中的关系不止是关联关系,可能还有父子(从属)关系,依赖关系等一些更复杂的关系。在软件世界中,我们一直在苦苦探索如何有效表达现实世界领域本体的软件模型,对象数据库一直是数据库界希冀用来表达领域模型的利器,但时至今日,仍缺乏具有口碑的产品。
??十几年前,我还在攻读计算机科学博士学位,研究领域本体的知识表达与软件建模。那时XML和RDF(Resource Description Framework, 资源描述框架)是流行的领域本体表达形式,因而也催生了XML数据库,XML柔性查询(或半柔性查询)之类的技术与一些不太成熟的产品。当时感觉最需要的就是一个能够存储,快速检索领域知识的数据库,但主流的关系数据库产品在这方面存在一些天然的缺陷。
??ES是我使用过的NoSQL数据库产品中被认为最适合用于领域本体建模的系统(如内置父子关系的映射),同时也是学习分布式软件架构的最好示例系统。
2. 知识导图全景
??ES的知识点众多,发展到今天,已经release到7.0版本。从6.0版本开始,ES在数据模型上做了一个重大变化:基于查询和存储效率考虑,ES在index中删除了type的概念,即在一个index中只有一个type,而在6.0之前的版本,一个index中允许创建多个type。
??ES的生态也在逐渐发展,ES与Logstash及Kibana构成应用栈,可轻松构建一个采集大数据,多维度分析大数据的数据仓库系统。
??在这里,我把ES中一些主要的知识点以导图的形式(还会不断完善)展现出来,如图1所示。
??图1中的知识点简单描述如下:
- ? 分布式构架:ES采用典型的主/从(master/slave)分布式架构。ES集群中可以有多个主节点(node,最小的主节点数目可设置),主从节点通过选举机制产生。在ES中,一个index可使用多个分片(shard)来存贮,分片同样使用主/从方式,主从分片在读写数据的权限不同。
- ?映射(mapping):如同XML使用XML Schema作为元数据来描述XML数据对象的框架一样,ES中的映射本质是描述index中数据对象的元数据,它定义了数据对象的结构、格式已经各个字段(field)对应的数据类型。ES中的映射可以在创建index时自行创建,也可以由系统实现动态映射。
- ?集群数据管理:对于ES中的数据对象:index和document(在ES中,将一个使用JSON对象表示的数据对象称为一个文档),ES提供访问接口实现对index和document的增删改查操作(支持批量操作)。对于集群中的其它元数据,ES也提供访问接口对集群,节点进行操作。
- ? 搜索(search):全文搜索时ES的核心功能,ES提供了专用于查询的DSL(Domain Specified Language,领域专用语言),也提供了基于URL的简易搜索形式。在搜索的同时ES也提供聚合(Aggregation)和排序对数据进行处理。
- ?SQL访问:ES提供了xpack插件形式的SQL访问形式,用户可以使用Rest API访问接口使用SQL语言像使用关系数据库一样对数据进行查询。
3. 参考文献
- https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html
- Clinton Gormley &Zachary Tong, Elasticsearch: The Definitive Guide,2015
内容总结
以上是互联网集市为您收集整理的编程随笔-ElasticSearch知识导图(1):全景全部内容,希望文章能够帮你解决编程随笔-ElasticSearch知识导图(1):全景所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。