以Python撰写 AI模型框架
by 高焕堂前言：在AI(人工智慧)方面，由于当今的机器学习本质是一种<大数据相关性支撑的>归纳性推理。软体框架的复用(Reuse)性愈高，对于应用开发的帮助愈大。因此，在AI领域里，软体框架魅力将会大放异彩。在本文里，是基于最简单的Perceptron模型来阐述如何分析、设计及实作一个框架和API。在本节里，将优化这个AI模型，让它从线性分类，提升到非线性分类，可以展现更高的智慧，也适用于更广的范围。而且...
目录随机森林原理随机森林代码(Spark Python) 随机森林原理 待续... 返回目录 随机森林代码(Spark Python) 代码里数据：https://pan.baidu.com/s/1jHWKG4I 密码：acq1 # -*-coding=utf-8 -*- from pyspark import SparkConf, SparkContext
sc = SparkContext(‘local‘)from pyspark.mllib.tree import RandomForest, RandomForestModel
from pyspark.mllib.util import MLUtils# Load and parse the data file into an R...
我们需要开始思考如何将文本集合转化为可量化的东西。最简单的方法是考虑词频。我将尽量尝试不使用NLTK和Scikits-Learn包。我们首先使用Python讲解一些基本概念。基本词频首先，我们回顾一下如何得到每篇文档中的词的个数：一个词频向量。
#examples taken from here: http://stackoverflow.com/a/1750187mydoclist = [‘Julie loves me more than Linda loves me‘,
‘Jane likes me more than Julie loves me‘,
‘He likes ba...
1.利用简单的例子来展示实现 __getitem__ __len__ 这2个特殊方法 定义一个字牌类#encoding:utf-8import collections
Card = collections.namedtuple(‘Card‘,[‘rank‘,‘suit‘])class FrenchDeck:ranks = [str(n) for n in range(2,11)] + list(‘JQKA‘)suits = ‘spades diamonds clubs hearts‘.split()def__init__(self):self._cards = [ Card(rank,suit) for suit in self.suitsfor rank in self.ranks]def__len__(sel...
一、IO模型介绍 为了更好地了解IO模型，我们需要事先回顾下： 同步：一件事情做完再做另一件事情 异步：同时做多件事情 阻塞：sleep、input、join、shutdown、get、acquire、wait accept、recv、recvfrom 非阻塞：strblocking(False) 用socket 一定会用到accept、recv、recvfrom这些方法 正常情况下accept、recv、recvfrom都是阻塞的 如果setblocking(False) 整个程序就变成一...
#!/usr/bin/env /pythonimport threading
import time
import Queue
import random#生产者
def Proudcer(name,que):
while True:
if que.qsize() < 3: #如果只剩下3个包子就又开始生产包子（如果队列中的数据为3个时）
que.put(‘baozi‘) #包子入队列
print ‘%s 生产包子...‘ % name
else:
print "%s 仅剩3个包子..."
time.sleep(random.randrange(5)) #随机在...
多线程协程IO模型多线程#线程的PID与主进程PID一致from threading import Thread
from multiprocessing import Process
import os
def task():print(‘%s is running‘ %os.getpid())
if__name__ == ‘__main__‘:t1=Thread(target=task,)t2=Thread(target=task,)# t1=Process(target=task,)# t2=Process(target=task,) t1.start()t2.start()print(‘主‘,os.getpid())#多线程共享一个进程内的资源from threading import Thread...
import time
import queue
import threadingq = queue.Queue() # 线程安全def producer(id):"""生产者"""while True:time.sleep(2)q.put('包子')print('厨师%s 生产了一个包子' % id)for i in range(1, 4):t = threading.Thread(target=producer, args=(i,))t.start()def consumer(id):"""消费者"""while True:time.sleep(1)v1 = q.get()print('顾客 %s 吃了一个包子' % id)for i in range(1, 3):t = threading.Thread(target=con...
一、队列1.1 概念介绍-----multiprocess.Queue创建共享的进程队列，Queue是多进程安全的队列，可以使用Queue实现多进程之间的数据传递。Queue([maxsize])创建共享的进程队列。
参数 ：maxsize是队列中允许的最大项数。如果省略此参数，则无大小限制。底层队列使用管道和锁定实现。1.2 方法介绍Queue([maxsize])：创建共享的进程队列。maxsize是队列中允许的最大项数。如果省略此参数，则无大小限制。底层队列使用管道和锁定实现。另...
Python全栈之路系列之Django模型MTV开发模式把数据存取逻辑、业务逻辑和表现逻辑组合在一起的概念有时被称为软件架构的Model-View-Controller(MVC)模式。在这个模式中，Model代表数据存取层，View代表的是系统中选择显示什么和怎么显示的部分，Controller指的是系统中根据用户输入并视需要访问模型，以决定使用哪个视图的那部分。Django紧紧地遵循这种MVC模式，可以称得上是一种MVC框架。以下是Django中M、V和C各自的含义：**M**：...
一：在讲IO模型之前我们首先来讲一下事件驱动模型，属于一种编程的范式，那么我们以前就是传统式编程，来看看有什么区别吧（此处为借鉴别人的）传统的编程是如下线性模式的：开始--->代码块A--->代码块B--->代码块C--->代码块D--->......--->结束每一个代码块里是完成各种各样事情的代码，但编程者知道代码块A,B,C,D...的执行顺序，唯一能够改变这个流程的是数据。输入不同的数据，根据条件语句判断，流程或许就改为A--->C--->E......
from sklearn.decomposition import DictionaryLearning#数据预处理字典学习DictionaryLearning模型def test_DictionaryLearning():X=[[1,2,3,4,5],[6,7,8,9,10],[10,9,8,7,6,],[5,4,3,2,1]]print("before transform:",X)dct=DictionaryLearning(n_components=3)dct.fit(X)print("components is :",dct.components_)print("after transform:",dct.transform(X))# 调用 test_DictionaryLearning
test_DictionaryLearning() from skl...
一、IO模型： 1.blocking IO 阻塞IO 2.nonblocking IO 非阻塞IO 3.IO multiplexing IO多路复用 4.signal driven IO 信号驱动IO 5.asynchronous IO 异步IO二、阻塞IO(blocking IO)在linux中，默认情况下所有的socket都是blocking。blocking IO的特点就是IO执行的两个阶段（等待数据和拷贝数据两个阶段）都被block了。阻塞型接口：指系统调用（一般是IO接口）不返回调用结果并让当前线程一直阻塞，只有当该系统...
import numpy as np
import matplotlib.pyplot as pltfrom sklearn import datasets,ensemble
from sklearn.model_selection import train_test_splitdef load_data_classification():‘‘‘加载用于分类问题的数据集‘‘‘# 使用 scikit-learn 自带的 digits 数据集digits=datasets.load_digits() # 分层采样拆分成训练集和测试集，测试集大小为原始数据集大小的 1/4return train_test_split(digits.data,digits.target,test_size...
python的GIL 锁 python内置的一个全局解释器锁 , 锁的作用就是保证同一时刻一个进程中只有一个线程可以被cpu调度为什么有这把GIL锁? python语言的创始人在开发这门语言时 , 目的快速把语言开发出来 , 如果加上GIL锁(C语言加锁) , 切换时按照100条字节指令来进行线程间的切换锁 : 1.锁 : Lock(1次放1个) 线程安全 , 多线程操作时 , 内部会让所有线程排队处理 , 如 : list / dict / Queue 线程不安全 + 人 ...
