首页 / PYTHON / python – Django：数据库级或代码级的TextField(字符串)数据压缩

python – Django：数据库级或代码级的TextField(字符串)数据压缩

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – Django：数据库级或代码级的TextField(字符串)数据压缩，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2005字，纯文字阅读大概需要3分钟。

内容图文

python – Django：数据库级或代码级的TextField(字符串)数据压缩

我制作了我的Django模型,在将测试/虚拟记录插入到PostgreSQL数据库后,我意识到我的数据对于每条记录都非常大.所有字段中的数据总和将为每条记录约700 KB.我估计我将有大约500万条记录,所以这将在3350 GB标记附近变得非常大.我的大多数数据都是大型JSON转储(每个字段大约70 KB).

我不确定PostgreSQL在通过Django框架处理时是否会自动压缩我的数据.我想知道在将数据输入数据库之前是否应该压缩数据.

问题：
在使用Django模型字段类型TextField时,PostgreSQL是否使用某种x压缩算法自动压缩我的字符串字段？

我不应该依赖PostgreSQL并事先压缩我的数据然后将其输入数据库吗？如果是这样,我应该使用哪个压缩库？我已经在Python中尝试了zlib并且看起来很棒,但是,我已经读过gzip库也是如此,我很困惑哪个是最有效的(在压缩和解压缩速度方面以及压缩百分比方面).

编辑：我正在阅读this Django snippet for CompressedTextField,这引起了我对使用哪个压缩库的困惑.我看到有些人使用zlib而有些人使用gzip.

编辑2：This stackoverflow question说PostgreSQL会自动压缩字符串数据.

编辑3：PostgreSQL使用pg_lzcompress.c进行压缩,这是LZ压缩系列的一部分.是否可以安全地假设我们不需要在TextField本身上使用其他形式的压缩(zlib或gzip),因为它本身就是数据类型文本(可变长度字符串)？

解决方法:

是的,postgresql将压缩大型文本字段,完全独立于您使用它的任何框架.

使用名为TOAST的东西存储大字段值.这些属性可能会被压缩,如果太大而无法在列中嵌入,则它们会在称为TOAST表的特殊文件中存储.

正如您已经确定的那样,使用了LZ压缩.这并没有像其他算法那样提供高压缩比.但是,为了获得收益,我怀疑在将应用程序中的数据发送到数据库之前压缩数据是否值得,如果磁盘空间是您主要关注的问题.

您可以通过设置列的存储模式来影响属性的存储.有关ALTER TABLE的手册,请参见SET STORAGE.

PLAIN must be used for fixed-length values such as integer and is
inline, uncompressed. MAIN is for inline, compressible data. EXTERNAL
is for external, uncompressed data, and EXTENDED is for external,
compressed data. EXTENDED is the default for most data types that
support non-PLAIN storage.

TEXT的默认值为EXTENDED.

但是,您应该考虑如何使用数据.将使用什么类型的查询来访问数据？将使用什么过滤标准？它必须通读所有这些大型TOAST属性来访问WHERE子句中使用的值,然后性能可能很差.

内容总结

以上是互联网集市为您收集整理的python – Django：数据库级或代码级的TextField(字符串)数据压缩全部内容，希望文章能够帮你解决python – Django：数据库级或代码级的TextField(字符串)数据压缩所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/903389.html

来源：【匿名】

【上一篇】python – Threadsafe redis客户端【下一篇】浅谈PHP运行Python脚本的方法

更多 ►

【python – Django：数据库级或代码级的TextField(字符串)数据压缩】教程文章相关的互联网学习教程文章

python3-开发进阶Django中序列化以及rest_framework的序列化【代码】【图】

一、django框架的序列化直接上代码1、这是app下的models.pyfrom django.db import models# Create your models here.class Course(models.Model):title=models.CharField(max_length=32)2、这是app下的view.py，两种序列化方法from django.views import View from app01.models import Courseclass CourseView(View):def get(self,request):ret=Course.objects.all()#这是我们自己用json模块去序列化数据#import json#temp=[] # fo...

跟老齐学Python Django实战 1/n Second edition【代码】

virtualenv lqidjangosource bin/activatepip3 install Django　　--> passdjango-admin startproject mysite--> fail (lqidjango) cor@debian:~/lqidjango$ django-admin startproject mysite bash: django-admin: command not found python3 -m django startproject mysite--> pass#sudo apt-get install tree(lqidjango) cor@debian:~/lqidjango/mysite$ tree . ├── manage.py └── mysite├── __init__.py├─...

python+django+xadmin 旅游网【图】

参考：http://www.xialunwen.cn/sheji/python/98/ 旅游美食网，主要介绍了本地景点、门票信息、当地的特产、当地美食等。原文：https://www.cnblogs.com/bysj120/p/14545242.html

pythonのdjango select_related 和 prefetch_related()【代码】【图】

在数据库有外键的时候，使用select_related() 和 prefetch_related() 可以很好的减少数据库请求次数，从而提高性能。（1）select_related()当执行它的查询时它沿着外键关系查询关联的对象数据。它会生成一个复杂的查询并引起性能的消耗，但是在以后使用外键关系时将不需要数据库查询。（2）prefetch_related()返回的也是QuerySet，它将在单个批处理中自动检索每个指定查找的对象。这具有与select_related类似的目的，两者都被设计为...

python - django (母版与组件)【代码】

# 把多个页面通用的部分提取出来放在一个母版中 # 其它的页面只需要继承母版就可以# 使用步骤：( 继承的语句要放在第一行 )"""1. 把公用的 HTML 部分拿出来成为母版，放到 xxx.html 中2. 在 xxx.html中，通过定义 block，把每个页面不同的地方分出来3. 在其它页面中先继承母版4. 再 block 指定需要替换的母版位置# 可以使用多个 {% block page-main %} 来定义某些代码 {% endblock %}母版中：（定义的这一块是其它页面不同...

python-Django-rest_framework用户级联及用户访问节流【代码】

models.py# models.pyfrom django.db import models# 用户表class User(models.Model):u_name = models.CharField(max_length=32, unique=True)u_password = models.CharField(max_length=256)# 地址表class Address(models.Model):a_address = models.CharField(max_length=128)# null=True 允许外键为空a_user = models.ForeignKey(User, on_delete=True, null=True)views.py# views.pyimport uuidfrom django.core.cache import...

python - django (cookie)【代码】

# """Cookile: # 因为 HTTP 请求是没有状态的，每一次请求都是独立的 Cookile 的存储: # 保存在浏览器上的键值对。# 服务器控制着响应，再响应里可以让浏览器在本地保存(键值对)Cookie# 下一次请求在发送的时候就会携带这个Cookie值# 不设置存在时间，默认关闭浏览器后失效（Cookie） """# # """rep = redirect(‘/home/‘)# 正常写法： rep.set_cookie(‘login‘,‘1‘)# 加盐写法： rep.set_signed_cookie(‘login‘,‘1‘,s...

python学习-- 两种方式查看自己的Django版本

【第一种方式】Windows系统下按住Windows按键 + R 进入搜索；搜索CMD进入控制台；输入Python进入Python解释器Linux系统下直接使用终端调用Python解释器接下来输入：>>> import django>>> print django.VERSION # Python2的格式>>> print（django.VERSION) # Python3的格式【第二种方式】Windows系统下按住Windows按键 + R 进入搜索；搜索CMD进入控制台；输入Python进入Python解释器Linux系统下直接使用终端调用Python解释器直...

python 自动化之路 day 18 前端内容回顾、补充/Django安装、创建

前端回顾：整体： - HTML - CSS - JavaScript - 基本数据类型 - for，while.. - DOM - obj = document.getElementById(‘..‘) - obj.innerHtml - BOM: - setInterval。。。 ----> 可以完成所有操作 <---- - jQuery： - 选择器 $(‘#‘) $(‘.‘) - 筛选器 $(‘#‘).find(‘‘) ...

【Django】Python虚拟环境工具virtualenv【代码】

教程第一步：安装virtualenv$pip install virtualenv第二步：开启虚拟环境的python$cd ENV/Scripts$activate.bat #启用virtualenv$deactivate #退出virtualenv 原文：http://www.cnblogs.com/jennyhui/p/4194208.html

[Django][Python]Django重置Migration【代码】

原文地址：https://simpleisbetterthancomplex.com/tutorial/2016/07/26/how-to-reset-migrations.html本文描述了几张方法来重置老是出错的Django MigrationHow to Reset MigrationThe Django migration system was developed and optmized to work with large number of migrations. Generally you shouldn’t mind to keep a big amount of models migrations in your code base. Even though sometimes it causes some undesir...

python django 的启动脚本【代码】

#!/bin/bash# Replace these three settings. PROJDIR="/var/www/t_receive_interface" PIDFILE="/var/run/django.pid" SOCKET="/tmp/django.sock" OUTLOGFILE="/var/log/django/access.out.log" ERRLOGFILE="/var/log/django/error.log"cd $PROJDIR if [ -f $PIDFILE ]; thenkill `cat -- $PIDFILE`rm -f -- $PIDFILE fi# as harbin #exec python manage.py runfcgi maxchildren=1 maxspare=1 minspare=1 pidfile=$PIDFILE host=1...

Django使用多数据库For python3【代码】

1、定义数据库在django项目中, 一个工程中存在多个APP应用很常见；有时候希望不同的APP连接不同的数据库，这个时候需要建立多个数据库连接。在Django的setting中使用DATABASES设置定义数据库，可以将数据库映射到特定的别名字典中;DATABASES定义的是要给嵌套字典，该设置必须配置default默认数据库。默认使用SQLite进行单一数据库设置：DATABASES = {‘default‘: {‘ENGINE‘: ‘django.db.backends.sqlite3‘,‘NAME‘: ‘mydat...

合并多个python list以及合并多个 django QuerySet 的方法【代码】

在用python或者django写一些小工具应用的时候，有可能会遇到合并多个list到一个 list 的情况。单纯从技术角度来说，处理起来没什么难度，能想到的办法很多，但我觉得有一个很简单而且效率比较高的方法是我以前没注意到的。那就是利用 chain 方法来合并多个list. 同样也可以用来合并django 的 QuerySet. #coding:utf-8from itertools import chain a = [1,2,"aaa",{"name":"roy","age":100}] b = [3,4] c = [5,6] #items = a + b + ...

详解Python的Django框架中inclusion_tag的使用【代码】

另外一类常用的模板标签是通过渲染其他模板显示数据的。比如说，Django的后台管理界面，它使用了自定义的模板标签来显示新增/编辑表单页面下部的按钮。那些按钮看起来总是一样的，但是链接却随着所编辑的对象的不同而改变。这就是一个使用小模板很好的例子，这些小模板就是当前对象的详细信息。这些排序标签被称为包含标签。如何写包含标签最好通过举例来说明。让我们来写一个能够产生指定作者对象的书籍清单的标签。我们...

首页 / PYTHON / python – Django：数据库级或代码级的TextField(字符串)数据压缩

python – Django：数据库级或代码级的TextField(字符串)数据压缩

内容导读

内容图文

内容总结

内容备注

内容手机端

【python – Django：数据库级或代码级的TextField(字符串)数据压缩】教程文章相关的互联网学习教程文章

python3-开发进阶Django中序列化以及rest_framework的序列化【代码】【图】

跟老齐学Python Django实战 1/n Second edition【代码】

python+django+xadmin 旅游网【图】

pythonのdjango select_related 和 prefetch_related()【代码】【图】

python - django (母版与组件)【代码】

python-Django-rest_framework用户级联及用户访问节流【代码】

python - django (cookie)【代码】

python学习-- 两种方式查看自己的Django版本

python 自动化之路 day 18 前端内容回顾、补充/Django安装、创建

【Django】Python虚拟环境工具virtualenv【代码】

[Django][Python]Django重置Migration【代码】

python django 的启动脚本【代码】

Django使用多数据库For python3【代码】

合并多个python list以及合并多个 django QuerySet 的方法【代码】

详解Python的Django框架中inclusion_tag的使用【代码】

PYTHON - 相关标签

数据压缩 - 相关标签

PYTHON - 技术教程分类

PYTHON - 最新教程

PYTHON - 最热教程