结合了大小公司招聘以及亲身准备经历，列举不同公司提到的技能点，也是自己接下来要继续加强学习的技能点： 1.数据库方面：MySQL（重要），Redis等 2.python基础语法（必备） 3.（必备）机器学习（决策树，SVM，贝叶斯，K-Means，Logistic Regression，随机森林，PCA等算法基本原理）、数据挖掘（scikit-learn，NLTK等） 4.（偏后端）WEB后端开发技术：协议，架构，存储，缓存，安全等 5.基本的统计学知识（加分） 6.正则表达式（加...
Pandas针对字符串配备的一套方法，使其易于对数组的每个元素进行操作 1、常用方法 lower，upper，len，startswith，endswiths = pd.Series(['A','b','C','bbhello','123',np.nan,'hj']) df = pd.DataFrame({'key1':list('abcdef'),'key2':['hee','fv','w','hija','123',np.nan]})#统计b出现的次数 print(s.str.count('b')) print(s.str.lower(),'→ lower小写\n') print(s.str.upper(),'→ upper大写\n') print(s.str.len(),'→ le...
Python金融大数据分析 PDF下载 下载地址：http://t.cn/E9b9YQe 内容简介 Python凭借其简单、易读、可扩展性以及拥有巨大而活跃的科学计算社区，在需要分析、处理大量数据的金融行业得到了广泛而迅速的应用，并且成为该行业开发核心应用的编程语言。《Python金融大数据分析》提供了使用Python进行数据分析，以及开发相关应用程序的技巧和工具。 《Python金融大数据分析》总计分为3部分，共19章，第1部分介绍了Python在...
XML（Extensible Markup Language）是另一种常见的支持分层、嵌套数据以及元数据的结构化数据格式。本书所使用的这些文件实际上来自于一个很大的XML文档。 纽约大都会运输署（Metropolitan Transportation Authority,MTA）发布了一些有关其公交和列车服务的数据资料（http://www.mta.info/developers/download.html ）。这里，我们将看看包含在一组XML文件中的运行情况数据。每项列车或公交服务都各有各自的文件（如Metro-North Ra...
爬虫 爬虫的第一步自然是从分析请求和网页源代码开始。从网页源代码中我们并不能找到发布的招聘信息。但是在请求中我们看到这样一条POST请求 如下图我们可以得知 url：https://www.lagou.com/jobs/positionAjax.json?city=%E5%8C%97%E4%BA%AC&needAddtionalResult=false 请求方式：post result：为发布的招聘信息 totalCount：为招聘信息的条数 通过实践发现除了必须携带headers之外，拉勾网对ip访问频率也是有限制的。一开始会提示...
Series是一组带索引的一维数组，可以通过一下方式创建： 1、由字典创建，字典的key是series的index，value是series的值dir = {'a':1,'b':2,'c':3} s=pd.Series(dir) print(s) 2、有数组创建，index得值默认从0开始，也可以指定index的值,指定值得时候长度跟数组长度必须一致arr = np.random.rand(5) print(arr) s1 = pd.Series(arr) print(s1) s2 = pd.Series(arr,index=list('abcde')) print(s2) 3、有标量创建s3 = pd.Series(100...
Python for Data Analysis 这本书是唐学韬老师带领的团队在2013年就翻译完毕的著作。原书作者是美国的McKinney.W.。现在是2019年，Python的使用如火如荼，我不知道它是否已经发展成熟。Just do it.现在开始。。。也不晚 Python 给人的初次印象非常的好，工整、语法逻辑清晰，可以说非常类似于英语的自然语法了（我是说和一段标准的英文对话很类似了）。 作为一个初学者，我最最对Python感到崇拜的，就是它的LIST 和 for...in...:迭...
1.必须知道的两组Python基础术语 A.变量和赋值 Python可以直接定义变量名字并进行赋值的，例如我们写出a = 4时，Python解释器干了两件事情： 在内存中创建了一个值为4的整型数据 在内存中创建了一个名为a的变量，并把它指向4 用一张示意图表示Python变量和赋值的重点： 例如下图代码，“=”的作用就是赋值，同时Python会自动识别数据类型: 请阅读代码块里的代码和注释，你会发现Python是及其易读易懂的。 B.数据类型 在初级的数据...
Python数据分析：NLTK Natural Language Toolkitnlp领域中最常用的一个Python库开源项目自带分类、分词等功能强大的社区支持语料库，语言的实际使用中真实出现过的语言材料语料库安装 import nltk nltk.download()语料库nltk.corpus分词(tokenize)将句子拆分成具有语言语义学上意义的词中英文分词区别英文单词之间是以空格作为自然分界符 中文没有一个形式上的分界符，分词比英文复杂中文分词工具，jieba得到分词结果后，中英文的后...
0.前言 很多人反映在学习了Python基础之后无所适从，不知道下一步往哪走。作为较早期的跨界者（土木狗）深有体会。本文将结合上图，为后来者指明方向，可作为参考。在此强调：如果打算依靠Python逃离现有的工作(如土木施工），那就要认真想想自己打算做哪一方面的工作，互联网营销、前端、运维、爬虫、数据分析、数据挖掘、Web开发？强烈建议：直接上拉钩或者Boss直聘，针对性学习更为稳妥。如果打算业余玩玩，那跟着我们一起业余吧...
理解 特点 作用 最小化一个损失函数 最大化一个效用函数：梯度上升法 随机梯度下降法 以单个数据作为梯度下降的依据 优点 批量梯度下降法 以整体数据作为每次梯度下降的方向的根据 小批量梯度下降法...
In?[1]:?? ? ? ?from sklearn import datasets??In?[2]:?? ? ? ?boston = datasets.load_boston() X = boston.data y = boston.target #去除不真实的数据 X = X[y < 50] y = y[y < 50] ???In?[3]:?? ? ? ?from sklearn.model_selection import train_test_split #载入数据切分工具??In?[5]:?? ? ? ?X_train, X_test, y_train, y_test = train_test_split(X,y,test_size = 0.2,random_state=666) #切分数据??In?[6]:?? ? ? ?from...
一. apply函数 作用：对 DataFrame 的某行/列应用函数之后，Apply 返回一些值。函数既可以使用默认的，也可以自定义。注意：在第二个输出中应用 head() 函数，因为它包含了很多行。#创建一个新函数 def num_missing(x):return sum(x.isnull())#应用每一列 print "Missing values per column:" print data.apply(num_missing, axis=0) #axis=0 defines that function is to be applied on each column#应用每一行 print "\nMissing ...
理解 以a b为变量，预测值与真值的差的平方和为结果的函数 参数学习的基本方法：找到最优参数使得预测与真实值差距最小 假设可以找到一条直线 y = ax+b 使得预测值与真值的差的平方和最小 故事 假设你面前有一堆男人 这些男人的基本信息全部掌握，包括他们的年收入 简单线性回归 简单线性回归的思想就是：假设你相信，这些男人的身高越高，年收入越高，然后找到一个一元线性方程 ，让这个方程猜得最准，然后 把这个方程记...
import numpy as np from sklearn import datasets# 载入数据包??In?[2]:?? ? ? ?digits = datasets.load_digits()#读取数据 X = digits.data#定义X y = digits.target#定义y??In?[3]:?? ? ? ?from sklearn.model_selection import train_test_split #载入数据切分工具??In?[4]:?? ? ? ?X_train, X_test, y_train, y_test = train_test_split(X,y,test_size = 0.2)#数据切分???Signature: train_test_split(arrays, *options) Docs...