潜在狄利克雷分配 LDA 吉布斯抽样法算法 import numpy as np import jiebaclass LDA:def __init__(self,text_list,k):self.k = kself.text_list = text_listself.text_num = len(text_list)self.get_X()self.NKV = np.zeros((self.k,self.word_num))self.NMK = np.zeros((self.text_num,self.k))self.nm = np.zeros(self.text_num)self.nk = np.zeros(self.k)self.zmn = [[] for i in range(self.text_num)]self.alpha = np.random...
层次聚类聚合/分裂算法 import numpy as np import copy import matplotlib.pyplot as pltclass Hierarchical_cluster:def __init__(self,k=None,p=2,dis_way='min',c_way='agg'):self.k = kself.p = pself.dis_way = dis_wayself.c_way = c_waydef cauclate_dis(self, x1, x2):return np.sum(abs(x1 - x2) ** self.p) ** (1 / self.p)def create_D_matrix(self):self.D = np.zeros((self.n,self.n))for i in range(self.n):for j ...
一、认识句法分析 首先，了解一下句法分析到底是什么意思？是做什么事情呢？顾名思义，感觉是学习英语时候讲的各种句法语法。没错！这里就是把句法分析过程交给计算机处理，让它分析一个句子的句法组成，然后更好理解句子的语义信息。这就是NLP的目的，也就是AI的目标。 句法分析（syntactic parsing）是自然语言处理中的关键技术之一，基本任务是确定句子的句法结构(syntactic structure)或句子中词汇之间的依存关系。句法分析分为...
原题链接 题目： 维护一个字符串集合，支持两种操作： “I x”向集合中插入一个字符串x； “Q x”询问一个字符串在集合中出现了多少次。 共有N个操作，输入的字符串总长度不超过 10^5，字符串仅包含小写英文字母。 输入格式 第一行包含整数N，表示操作数。 接下来N行，每行包含一个操作指令，指令为”I x”或”Q x”中的一种。 输出格式 对于每个询问指令”Q x”，都要输出一个整数作为结果，表示x在集合中出现的次数。 每个结果占...
1. 场景描述 软件老王在上一节介绍到相似性热度统计的4个需求，本次介绍分组及分组分句热度统计（需求1和需求2）。 2. 解决方案 分组热度统计首先根据某列进行分组，然后再对这些句进行热度统计，主要是分组处理，分句仅仅是按照标点符号做了下拆分，在代码说明中可以替换下就可以了。 2.1 完整代码 完整代码，有需要的朋友可以直接拿走，不想看代码介绍的，可以直接拿走执行就行。 import jieba.posseg as pseg import jieba.anal...
题目 输出区间[M,N](10≤M≤N≤1000)之间所有各位数值之和为k的数，并统计输出满足条件的数的个数。 输入格式: 输入在第一行中给出正整数k，第二行中给出2个正整数M和N(10≤M≤N≤1000)，中间用空格间隔。 输出格式: 在第一行中输出满足条件的所有数，每个数后面一个空格。 在第二行按count = 总数的格式输出满足条件的数的个数。 注意：若没有满足条件的数，则第一行为空行 输入样例1: 5 200 300 输出样例1: 203 212 221 230 cou...
k -- NN k--NN 是一种基本分类和回归方法。对新实例进行分类时，通过已经训练的数据求出 k 个最近实例，通过多数表决进行分类。故 k 邻近算法具有不显式的学习过程。 三个基本要素：k 值选择，距离度量，分类决策规则。 1. k 近邻算法 原理：给定一个训练集，对于新输入的实例，在训练集中找到与其相似的 k 个实例，这 k 个实例的多数属于某一类，就将该实例归属到这一类。 输入：训练数据集 \(T = \{(x_1,y_1),(x_2,y_2),...,(x_3...
//数的统计 #include<stdio.h> #include<stdlib.h> int comp(const void *a,const void *b){return *(int*)a - *(int*)b; } int main(){int i,N,num=0;scanf("%d",&N);int a[2][N];for(i=0;i<N;i++)scanf("%d",&a[0][i]);qsort(a[0],N,sizeof(int),comp);num = a[0][0];a[1][0] = 1;for(i=1;i<N;i++){if(a[0][i] == a[0][i-1])a[1][i] = a[1][i-1] + 1;else{printf("%d %d\n",a[0][i-1],a[1][i-1]);a[1][i] = 1;}}printf("%d %d",...
原文链接：https://blog.csdn.net/seagal890/article/details/92067644JAVA算法：按照给定的段落统计单词出现次数（JAVA代码） 写一个 JAVA程序以统计一个文本文件 words.txt 中每个单词出现的频率。 为了简单起见，你可以假设： words.txt只包括小写字母和 。 每个单词只由小写字母组成。 单词间由一个或多个空格字符分隔。 示例: 假设 words.txt 内容如下： the day is sunny the the the sunny is is 你的脚本应当输出（以词频...
问题： 假设有一款不会反复清扫同一个地方的机器人，它只能前后左右移动。举个例子，如果第1次向后移动，那么连续移动3次时，就会有以下9种情况（图6）。又因为第1次移动可以是前后左右4种情况，所以移动3次时全部路径有94＝36种。求这个机器人移动12次时，有多少种移动路径？ 思路： 尝试用递归和非递归两种办法来解。 递归思路：从起点开始，在各方向移动1步，如果移动后的点不在当前的路径中，就加入到当前路径中，并进行下一次...
原文链接：http://www.cnblogs.com/tracydj/archive/2010/10/20/1856548.html近日在做富文本编辑器时，希望将编辑器的字符统计功能改进成字数统计。 其中最重要的当然是解决如何统计中英文混合情况下的字数。 我的思路是： 1）先根据空白字符把文章分解为若干个段，分解得到的各段中的文本已不包含空白字符。 2）遍历对分解得到的各段，对每段 Si 进行如下处理，求该段的词数 Ci：2.1）统计该段中连续非中文词（包括标点）出现的次...
spark对单词进行统计，可以有独立模式和集群模式，独立模式下可以直接对单词进行统计 import org.apache.spark.{SparkConf,SparkContext} object WordCount {def main(args: Array[String]): Unit={val conf =new SparkConf()conf.setAppName("WordCountScala")// conf.setMaster("local[3]") //独立模式//创建 sparkContext对象val sc=new SparkContext(conf)//加载文件//val rdd1=sc.textFile(("file:///G:/downloads/bigdat...
题意： 求一个带权有向图的1到n的最短路径数量，两点间会有重边，两条最短路径只有在存在一条边及以上不同时认为不同（所以重边算一条边），若城市n无法到达则只输出一个(‘No answer’)。 题解： 和P1144差不多，但是P1144是无权图，所以可以直接bfs，本题是带权图，就需要使用dijkstra算法求最短路了，更新数量时，如果$dis[v]$需要松弛，则说明存在一条新的边缩短了$1$到$v$的最短距离，则最短路径数就是$dis[u]$，如果不需要松...
需求：比如有一个网站，记录下了每次请求的访问的耗时，需要统计tp50，tp90，tp99 tp50：50%的请求的耗时最长在多长时间 tp90：90%的请求的耗时最长在多长时间 tp99：99%的请求的耗时最长在多长时间 建立mappingsPUT /website { "mappings": { "logs": { "properties": { "latency": {//响应时间 "type": "long" }, "province": {...
1、单词查找树（前缀树）又称单词查找树，Trie树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计，排序和保存大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是：利用字符串的公共前缀来减少查询时间，最大限度地减少无谓的字符串比较，查询效率比哈希树高。 ----百度具体图文表述请看别的技术博客，这里我分别用数组和map来表示树的下一个节点，具体代码实现和细节...