类属性、类方法和静态方法类属性：类中的方法外的变量称为类属性，被该类的所有对象所共享类方法：使用@classmethod修饰的方法，使用类名直接访问的方法静态方法：使用@staticmethod修饰的方法，使用类名直接访问的方法 代码举例：类属性的使用方式：class Student:native_pace=‘吉林‘ #直接写在类里的变量，称为类属性def __init__(self,name,age):self.name=name #self.name 称为实体属性，进行了一个赋值的操作self.a...
计算机如何做运算 在计算机系统中,数值一律用补码来表示正数的补码 正数的补码和源码相同。负数的补码 符号位不变,其他位取反再加1。表达式转为反码转为补码计算结果转为源码10+20000 1010+0000 00100000 1010+0000 00100000 11000000 110010+（-2）0000 1010+1111 11010000 1010+1111 11100000 10000000 10003+（-4）0000 0011+1111 10110000 0011+1111 11001111 11111000 0001注意：正数的反码补码和源码是一样的，负数...
这个实验由一个实验案例产生，实验中，需要对一个数据集进行维护，其中有一个需要对数据一条条进行插入：下面是最二的写法：rdd=sc.parallelize([-1]) for i in range(10000):rdd=rdd.union(sc.parallelize([i]))每次插入数据，新建一个rdd，然后union。后果是：java.lang.OutOfMemoryError: GC overhead limit exceeded at org.apache.spark.rdd.UnionRDD$$anonfun$getPartitions$2$$anonfun$apply$1.apply(UnionRDD.scala:69) at...
1. Python装饰器的本质Python的装饰器本质上是一个嵌套函数，它接受被装饰的函数(func)作为参数，并返回一个包装过的函数。这样我们可以在不改变被装饰函数的代码的情况下给被装饰函数或程序添加新的功能。Python的装饰器广泛应用于缓存、权限校验(如django中的@login_required和@permission_required装饰器)、性能测试(比如统计一段程序的运行时间)和插入日志等应用场景。有了装饰器，我们就可以抽离出大量与函数功能本身无关的代...
接口类与抽像类在python中，并没有接口类这种东西，即便不通过专门的模块定义接口，我们也应该有一些基本的概念编程思想 归一化设计: 1.接口类 不实现具体的方法，并且可以多继承 2.抽象类 可以做一些基础实现，并且不推荐多继承编程的几类原则:开放封闭原则:对扩展示开放的,对修改是封闭的依赖倒置原则:高层模块不应该依赖低层模块，二者都应该依赖其抽象；抽象不应该应该依赖细节；细节应该依赖抽象。换言之，要针对接口编...
NetworkX 概述NetworkX 主要用于创造、操作复杂网络，以及学习复杂网络的结构、动力学及其功能。用于分析网络结构，建立网络模型，设计新的网络算法，绘制网络等等。安装networkx看以参见官网 。NetworkX学习关于networkx的学习可以参考如下网站：python复杂网络库networkx：基础网络分析之networkxpython networkx学习案例学习学习案例前，请先导入下面的库import networkx as nx import matplotlib.pyplot as plt案例1 G = nx.Gr...
简介airflow 是一个使用python语言编写的data pipeline调度和监控工作流的平台。Airflow被Airbnb内部用来创建、监控和调整数据管道。任何工作流都可以在这个使用Python来编写的平台上运行。Airflow是一种允许工作流开发人员轻松创建、维护和周期性地调度运行工作流（即有向无环图或成为DAGs）的工具。在Airbnb中，这些工作流包括了如数据存储、增长分析、Email发送、A/B测试等等这些跨越多部门的用例。这个平台拥有和 Hive、Presto...
上节课回顾 - 操作系统的两大作用 - 多道技术 一.网络基础 -1.互联网协议---就是计算机的网络通信标准 -2.网络指的是-计算机于计算机 之间通过物理连接介质（网络设备连接到一起二.osi七层协议 -五层为 应用 传输 网络 数据链 物理 2.1-以太网协议规定电信号为一组数据帧 基于Mac地址通讯仅限局域网通信 -每一组帧分为报头head和数据date两部分 -报头长度是固定的包含数据的类型和地址 -规定接入互...
设计模式介绍 设计模式是经过总结、优化的，对我们经常会碰到的一些编程问题的可重用解决方案。一个设计模式并不像一个类或一个库那样能够直接作用于我们的代码。反之，设计模式更为高级，它是一种必须在特定情形下实现的一种方法模板。设计模式不会绑定具体的编程语言。一个好的设计模式应该能够用大部分编程语言实现(如果做不到全部的话，具体取决于语言特性)。最为重要的是，设计模式也是一把双刃剑，如果设计模式被用在不恰当的...
设计模式介绍 设计模式是经过总结、优化的，对我们经常会碰到的一些编程问题的可重用解决方案。一个设计模式并不像一个类或一个库那样能够直接作用于我们的代码。反之，设计模式更为高级，它是一种必须在特定情形下实现的一种方法模板。设计模式不会绑定具体的编程语言。一个好的设计模式应该能够用大部分编程语言实现(如果做不到全部的话，具体取决于语言特性)。最为重要的是，设计模式也是一把双刃剑，如果设计模式被用在不恰当的...
推荐理由 这本书用非常简单精妙的思想讲述了深度学习的基本原理。我感觉这本书告诉了我一个很重要的道理，如果你读了很多书都没有把一个概念读懂，那可能真的不一定是你的问题，还有可能是书的问题。一个好的老师，就应该把班里最笨的学生教会（如果他愿意学的话）。我想这本书，可以在我的顶级程序员书单系列排名第3-5位，非常值得一读。 我的部分笔记 深度学习经验 1.更深入地理解深度学习，最好的办法就是亲自实现。 2.光看数学...
说明 内容包含以下几块： 1 ubuntu安装Cuda的一般方法2 ubuntu安装GTX1060 铭影GTX10603 ubuntu安装3060Ti4 使用docker安装cuda整个过程就算顺利也要2~3小时，我第一次花了8个小时1 内容 1.1 CUDA与CUDNN 这部分内容参考这篇文章CUDA(ComputeUnified Device Architecture)，是显卡厂商NVIDIA推出的运算平台。 CUDA是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。NVIDIA CUDNN是用于深度神经网络的GPU加...
前言 Linux基础+负载均衡LVS+Scala+Python编程语言专题系列，这是通往大数据的必经之路，大牛带你由浅入深的沉稳扎根基础。 今天给大家分享的是Linux基础+负载均衡LVS+Scala+Python这四大部分的学习路线和内容，希望大家能够喜欢！！！ Linux基础 学习路线00-资料 01-安装VMWare workstation 02-Linux系统安装步骤 03-配置虚拟机的网络服务 04-基于虚拟机的快照克隆多台虚拟机的方法 05-xhell、xftp工具 06-linux内外部命令的判断...
logging日志模块开发过程中出现bug是必不可免的，你会怎样debug？从第1行代码开始看么？还是有个文件里面记录着哪里错了更方便呢！！！log日志 Python中有个logging模块可以完成相关信息的记录，在debug时用它往往事半功倍 1. 日志级别 日志一共分成5个等级，从低到高分别是： DEBUG INFO WARNING ERROR CRITICAL 说明: DEBUG：详细的信息,通常只出现在诊断问题上 INFO：确认一切按预期运行 WARNING：一个迹象表明,一些意想不到的事...
好程序员Python教程系列分享之Python语言元素之运算符，Python支持多种运算符，我们先用一个表格为大家列出几乎所有的运算符，然后再选择一些比较重要的运算符为大家进行讲解。说明： 上面这个表格实际上是按照运算符的优先级从上到下列出了各种运算符。所谓优先级就是在一个运算的表达式中，如果出现了多个运算符，应该先执行哪个运算再执行哪个运算的顺序。在实际开发中，如果搞不清楚运算符的优先级，可以使用圆括号来确保运算的...