最近折腾索引引擎以及数据统计方面的工作比较多, 与 Python 字典频繁打交道, 至此整理一份此方面 API 的用法与坑法备案. 索引引擎的基本工作原理便是倒排索引, 即将一个文档所包含的文字反过来映射至文档; 这方面算法并没有太多花样可言, 为了增加效率, 索引数据尽可往内存里面搬, 此法可效王献之习书法之势, 只要把十八台机器内存全部塞满, 那么基本也就功成名就了. 而基本思路举个简单例子, 现在有以下文档 (分词已经完成) 以...
Numpy的索引和切片ndarray对象的内容可以通过索引和切片查看和修改。索引：ndarray对象中的元素索引基于0开始切片：对数组里某个片段区域的描述数组的切片也可以理解为原始数组的局部视图，都是指向内存中的原始数组，所以不同于列表复制，切片上的修改都会直接反映到原始数组上。 索引切片的实例代码演示： Numpy常用函数的代码演示：Numpy的置换函数transpose、T和swapaxes演示与区别T适用于一、二维数组arr = np.arange(12).res...
学习信息检索课程，老师让写一个倒排索引与查询处理的程序，于是抱着试试的心态自学python写了出来。整个没有什么太大的算法技巧，唯一的就是查询处理那里递归函数正反两次反复查找需要多调试下。数据结构：#-*-coding:utf-8-*-
#!/usr/bin/python'''
数据结构
建立索引
mydir 文档列表
onedoc 每一个文档
mydoc 当前查询的文档mywords 建立索引的字典
myindex 0 文档下标 1 单词下标 2 次数 3...
wordcntdict中的个数 doccnt...
唯一联合索引：以商品收藏为例：同一个不能连续收藏同一个商品id这时候我们就要把数据库中的两个字段 user 和good 设置成唯一联合索引还有第二种方法：就是在validate里面也可以设置django rest framwork api guide 原文：https://www.cnblogs.com/yuanyuan2017/p/10123356.html
第三百四十一节，Python分布式爬虫打造搜索引擎Scrapy精讲—编写spiders爬虫文件循环抓取内容— 编写spiders爬虫文件循环抓取内容Request()方法，将指定的url地址添加到下载器下载页面，两个必须参数， 参数： url=‘url‘ callback=页面处理函数 使用时需要yield Request() parse.urljoin()方法，是urllib库下的方法，是自动url拼接，如果第二个参数的url地址是相对路径会自动与第一个参数拼接# -*- coding: utf-...
0x 00 前言 前天自己在玩的时候，自己通过百度搜索主机的二级域名感觉好麻烦，自已要一页页的去翻 而且人工识别是否是重复的二级域名也够蛋疼的，正好最近在学正则表达式，权当练手了0x 00 代码# coding=utf-8
# author:Anka9080
import urllib
import urllib2
import cookielib
import reurl = ‘http://www.haosou.com/s?src=360sou_newhome&q=site:tjut.edu.cn&pn=1‘
req = urllib2.Request(url)
res = urllib2....
原因django 3.x 系列删除了six. 解决办法第一步:安装sixpip3 install six第二步cd #进入家目录cd /home/zhouchen/.virtualenvs/meiduo5/lib/python3.6/site-packagescp six.py django/utils #将six.py拷贝进django/utils/目录下第三步# 将site-packages/haystack/inputs.py 中from django.utils.encoding import force_text, python_2_unicode_compatible# 改为from django.utils.encoding import force_textfrom django.utils.six...
Python为序列类型（sequence types）[1]提供了独特的索引（indexing）和切片（slicing）机制以访问序列的某个元素或某一部分。[1] 如list, tuple, range, str, bytes, bytearray, memoryview1．索引 在前文中已经展示过使用索引访问字符串、列表、元组的方法。像大多数其他编程语言一样，Python的索引从0开始（长度为N的序列，索引序号从0到N-1。除此之外，Python通过引入负数索引的方法，使得从尾部开始访问序列的写法很简洁。最...
前面我们讲到的elasticsearch(搜索引擎)操作，如：增、删、改、查等操作都是用的elasticsearch的语言命令，就像sql命令一样，当然elasticsearch官方也提供了一个python操作elasticsearch(搜索引擎)的接口包，就像sqlalchemy操作数据库一样的ORM框，这样我们操作elasticsearch就不用写命令了，用elasticsearch-dsl-py这个模块来操作，也就是用python的方式操作一个类即可 elasticsearch-dsl-py下载下载地址：https://github.com/ela...
Elasticsearch是一个分布式、Restful的搜索及分析服务器，Apache Solr一样，它也是基于Lucence的索引服务器，但我认为Elasticsearch对比Solr的优点在于： 轻量级：安装启动方便，下载文件之后一条命令就可以启动； Schema free：可以向服务器提交任意结构的JSON对象，Solr中使用schema.xml指定了索引结构； 多索引文件支持：使用不同的index参数就能创建另一个索引文件，Solr中需要另行配置； 分布式：Solr Cloud的配置...
中文文档链接：https://mr-zhao.gitbooks.io/whoosh/content/%E5%A6%82%E4%BD%95%E7%B4%A2%E5%BC%95%E6%96%87%E6%A1%A3.html https://mr-zhao.gitbooks.io/whoosh/content/如何索引文档.html?q= 代码： 回头放github上去原文：http://www.cnblogs.com/renfanzi/p/7195970.html
Python元组索引、截取：索引下标：tuple_1 = (‘a‘,‘b‘,‘c‘,‘d‘,‘e‘,‘f‘,‘g‘,‘h‘)
print(tuple_1[0])
# aprint(tuple_1[3])
# dprint(tuple_1[7])
# h# 当索引下标为负数时，-1表示最右端元素，从右向左依次递减print(tuple_1[-1])
# hprint(tuple_1[-4])
# e切片操作：# 使用切片进行截取列表元素
tuple_1 = (1,2,3,4,5,6,7,8,9,10)
print(tuple_1[::])
# (1, 2, 3, 4, 5, 6, 7, 8, 9, 10)print(tuple_1[2:8])
# (...
该章的源代码已经调通，如下， 先记录下来，再慢慢理解#!/usr/bin/env python
# coding: utf-8# In[1]:import pandas as pd
import numpy as np
import pickleimport keras
from keras.models import Sequential, Model
from keras.layers import Input, Dense, Activation, Dropout, Embedding, Reshape, Dot, Concatenate, Multiply, Merge
from keras.layers import LSTM
from keras.optimizers import RMSprop
from keras.util...
之前我在写百度网盘爬虫，百度图片爬虫的时候答应网友说，抽时间要把ok搜搜的的源码公开，如今是时候兑现诺言了，下面就是爬虫的所有代码，完全，彻底的公开，你会不会写程序都可以使用，不过请先装个linux系统，具备公网条件，然后运行： python startCrawler.py有必要提醒你，数据库字段代码中都有，请你自己建张表格，这个太简单了，就不多说了。同时我也提供一下下载地址，源码都在：下载地址1 下载地址2#!/usr/bin/env python...
链接: https://pan.baidu.com/s/1UUvccHBcib9sh1nQPnopHQ
提取码: fm46内容简介
本书分三部分、共16章介绍一些常用的设计模式。第一部分介绍处理对象创建的设计模式，包括工厂模式、建造者模式、原型模式；第二部分介绍处理一个系统中不同实体（类、对象等）之间关系的设计模式，包括外观模式、享元模式等；第三部分介绍处理系统实体之间通信的设计模式，包括责任链模式、观察者模式等。
作者简介
作者简介：
Sakis Ka...
