最近接触到了Mysql空间索引，网上查了查资料，这里记录一下。 空间索引 索引我们都用过，它是一种特殊的存储结构，就像图书馆里书的分类存放策略或是现代化图书馆里的图书查询系统，能帮助我们快速找到自己需要的书。 数据库中，索引的存储一般使用 B树 或 B+树 来实现，通过二分法来查找法来快速定位到数据位置。 普通索引对于一维数据(key->data)是无往不利，可是面对空间数据(lon,lat -> data)就有些无能为力了， 如果查询(11...
一、PMM简介之前发布过一篇Prometheus+Grafana的文章，连接为：【DB宝36】使用Docker分分钟搭建漂亮的prometheus+grafana监控，今天我们来介绍一下另一个监控工具：PMM。PMM（Percona Monitoring and Management）是一个免费的开源平台，用于管理和监视数据库性能，在docker环境中即可运行。它可以主动管理和监控MySQL（AWS RDS MySQL、Aurora MySQL、用户自建MySQL实例）、MariaDB、MongoDB、PostgreSQL等数据库，也可以监控Proxy...
目录一、PMM简介二、安装使用三、监控MySQL数据库MySQL慢查询分析四、监控PG数据库五、监控MongoDB数据库六、监控ProxySQL中间件一、PMM简介之前发布过一篇Prometheus+Grafana的文章，连接为：【DB宝36】使用Docker分分钟搭建漂亮的prometheus+grafana监控，今天我们来介绍一下另一个监控工具：PMM。PMM（Percona Monitoring and Management）是一个免费的开源平台，用于管理和监视数据库性能，在docker环境中即可运行。它可以主动...
目录 MySQL 1、MySQL 中有哪几种锁？ 2.简述在 MySQL 数据库中 MyISAM 和 InnoDB 的区别？ 3.MySQL 中 InnoDB 支持的四种事务隔离级别名称，以及逐级之间的区别？ 4.什么是脏读，缓读，不可重复读？ 5.谈一谈MySQL的优化？ 6.什么是内联接、左外联接、右外联接？ 7.如何通俗地理解三个范式？ 8.什么是基本表？什么是视图？试述视图的优点？ 9.MySQL 数据库作发布系统的存储，一天五万条以上的增量，预计运维三年,怎么优化？ 10.简...
小哈今天给大家分享的主题是，如何通过 Docker 快速搭建各种测试环境，本文列举的，也是小哈在工作中经常用到的，包括 Mysql, Redis, Elasticsearch, MongoDB, 通过几行命令秒秒钟就能轻松搞定环境搭建问题，相信对小伙伴们也有所用处。友情提示：搭建之前，你需要先安装 Docker 哟，本文基于您已经安装好 Docker 的基础之上！废话少说，正文开始！目录一、镜像加速二、快速安装&搭建 Mysql 环境三、快速安装&搭建 Redis 环境四、快...
文章目录 一、PMM简介二、安装使用三、监控MySQL数据库MySQL慢查询分析 四、监控PG数据库五、监控MongoDB数据库六、监控ProxySQL中间件 一、PMM简介 之前发布过一篇Prometheus+Grafana的文章，连接为：【DB宝36】使用Docker分分钟搭建漂亮的prometheus+grafana监控，今天我们来介绍一下另一个监控工具：PMM。 PMM（Percona Monitoring and Management）是一个免费的开源平台，用于管理和监视数据库性能，在docker环境中即可运行。它...
若进行博客等文本类数据的读写以及专业搜索引擎的连接的解决方案对比，可以肯定的下结论：MongoDB的解决方案中要远远好于MySQL的解决方案。 一、从开发工序角度 MySQL的文章读写方式 方式一：文章标题、作者、标签、时间和内容存关系表，图片存OSS，地址存关系表上述方式因为OSS和MySQL没有事务关系，因此需要编辑文章过程中存储图片和存储草稿都是分开设计，后台写入是分开执行，查询过程更适合前端异步获取图片，另外OSS需要额外...
欢迎关注我的微信公众号 一、问题 在好大夫在线内部，S3系统负责各业务方操作日志的集中存储、查询和管理。目前，该系统日均查询量数千万次，插入量数十万次。随着日志量的不断累积，主表已经达到数十亿，单表占用磁盘空间400G+。S3是业务早期就存在的系统，当时为了简单快速落地，使用了MySQL来存储，随着业务的不断增长，同时也要兼顾性能和可扩展性，到了必须要重新选型的时候了。 新项目命名为：LogStore。 二、目标 1、安全性...
阅读目录一 简介 二 MongoDB基础知识 三 安装 四 基本数据类型 五 CRUD操作 六 可视化工具 七 pymongo 一 简介 MongoDB是一款强大、灵活、且易于扩展的通用型数据库1、易用性MongoDB是一个面向文档（document-oriented）的数据库，而不是关系型数据库。不采用关系型主要是为了获得更好得扩展性。当然还有一些其他好处，与关系数据库相比，面向文档的数据库不再有“行“（row）的概念取而代之的是更为灵活的“文档”（document）模型...
CTFHub题解-技能树-Misc-流量分析-数据库类流量【MySQL流量、Redis流量、MongoDB流量】 ? ? （一）MySQL流量 ???? 1.知识点 ?wireshark过滤搜索功能、MySql登录过程 ? ? ? 2.题解 ? 解这道题用到的知识点比较少，主要是运用了一下?wireshark?的搜索功能。 ?题目是关于?MySQL?的，那我们可以先过滤一下 mysql 。这样得到的基本上都是 mysql 的流量包了。 ?找 flag 的话，比较常用的就是直接?ctrl+F?，搜索一下~ ?选分组字节...
一、Redis： redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop（推进/弹出）、add/remove（添加/删除）及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区...
连接MySQL数据库，并读取数据： 1 import pymysql2 import pandas as pd3 4 #显示所有列5 pd.set_option(display.max_columns, None)6 #显示所有行7 pd.set_option(display.max_rows, None)8 #设置value的显示长度为100，默认为509 pd.set_option(max_colwidth, 100) 10 11 connection = pymysql.connect( 12 host=localhost, 13 user=root, 14 passwd=******, 15 db=hc_db, 16 charset=utf8 17 ) 18 sql = s...
MongoDB： 它是一个内存数据库，数据都是放在内存里面的。 对数据的操作大部分都在内存中，但 MongoDB 并不是单纯的内存数据库。 MongoDB 是由 C++ 语言编写的，是一个基于分布式文件存储的开源数据库系统。 在高负载的情况下，添加更多的节点，可以保证服务器性能。 MongoDB 旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。...
一、MySQL 关系型数据库。 在不同的引擎上有不同 的存储方式。 查询语句是使用传统的sql语句，拥有较为成熟的体系，成熟度很高。 开源数据库的份额在不断增加，mysql的份额页在持续增长。 缺点就是在海量数据处理的时候效率会显著变慢。 二、Mongodb 非关系型数据库(nosql ),属于文档型数据库。先解释一下文档的数据库，即可以存放xml、json、bson类型系那个的数据。这些数据具备自述性（self-describing），呈现分层的树状数据结...
如何使用scrapy连接到(SQLite,Mysql,Mongodb,Redis)数据库，并把爬取的数据存储到相应的数据库中。 一、SQLite 1.修改pipelines.py文件加入如下代码# 爬取到的数据写入到SQLite数据库 import sqlite3class SQLitePipeline(object):#打开数据库def open_spider(self, spider):db_name = spider.settings.get('SQLITE_DB_NAME', 'scrapy.db')self.db_conn = sqlite3.connect(db_name)self.db_cur = self.db_conn.cursor()#关闭数据库...