基于golang分布式爬虫系统的架构体系v1.0## 一、什么是分布式系统 分布式系统是一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅仅通过消息传递进行通信和协调的系统。简单来说就是一群独立计算机集合共同对外提供服务，但是对于系统的用户来说，就像是一台计算机在提供服务一样。分布式意味着可以采用更多的普通计算机（相对于昂贵的大型机）组成分布式集群对外提供服务。计算机越多，CPU、内存、存储资源等也就越多，能够...
基于golang分布式爬虫系统的架构体系v1.0一、什么是分布式系统分布式系统是一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅仅通过消息传递进行通信和协调的系统。简单来说就是一群独立计算机集合共同对外提供服务，但是对于系统的用户来说，就像是一台计算机在提供服务一样。分布式意味着可以采用更多的普通计算机（相对于昂贵的大型机）组成分布式集群对外提供服务。计算机越多，CPU、内存、存储资源等也就越多，能够处理...
前言 go的测试用例一般分两种单元测试：主要测试代码可运行正确行，相当于运行一遍编写代码 基准测试：主要是对性能的测试gotest 的变量test.short : 一个快速测试的标记，在测试用例中可以使用 testing.Short() 来绕开一些测试 test.outputdir : 输出目录 test.coverprofile : 测试覆盖率参数，指定输出文件 test.run : 指定正则来运行某个 / 某些测试用例 test.memprofile : 内存分析参数，指定输出文件 test.memprofilerate : 内...
代码如下，引入了正则表达式的使用： package mainimport ("fmt""io""net/http""os""regexp""strconv" )func savToFile(index int, filmName, filmScore [][]string) {f, err := os.Create("第" + strconv.Itoa(index) + "页.txt")if err != nil {fmt.Println("os create err", err)return}defer f.Close()// 查出有多少条n := len(filmName)// 先写抬头 名称 评分f.WriteString("电影名称" + "\t\t\t" + "评分" + "\n")for i ...
本文介绍如何在 Golang 中生成和管理版本号及编译时间。 一、起因 笔者手上有几份祖传代码，最早一份90年代末写，次早是 2012 年写的，最新的代码，也是 2016 年写的，版本号倒有，但没有版本管理，虽然看得头大，但也得看。笔者写的程序一般会添加版本号和编译日期时间，也会加上版本控制，以方便追溯和维护。对于 C/C++ 语言，有__DATE__和__TIME_这两个宏定义，但 Golang 没有，因此加版本号还是额外研究。 二、思路 本文提供2个...
爬虫靠演技，表演得越像浏览器，抓取数据越容易，这是我多年爬虫经验的感悟。回顾下个人的爬虫经历，共分三个阶段：第一阶段，09年左右开始接触爬虫，那时由于项目需要，要访问各大国际社交网站，Facebook，myspace，filcker，youtube等等，国际上叫得上名字的社交网站都爬过，大部分网站提供restful api，有些功能没有api，就只能用http抓包工具分析协议，自己爬；国内的优酷、土豆、校内网、web版qq、网页邮箱等等也都爬过；那时...
双引号："" Golang语音双引号表示一个字符串（Go语言的字符串是一个用UTF-8编码的变宽字符序列，它的每一个字符都用一个或多个字节表示 ，所以说Go语言不存在乱码问题），双引号内字符可以转义，比如：\n，\r 反引号：`` 反引号引起来的字符串就不支持转义，一些正则表达式，HTML，MySql语句都可以用反引号来表示 单引号：’ 一般只能用来包裹一个字节的ASCII码字符，比如：var a int = '中'
golang 调用HBase的方法总结 1. 背景2. golang调用HBase2.1. 为什么用hbase2.2. Hbase安装Linux或者Mac系统Windows安装(第一种方式)Windows安装(第二种方式 docker)利用docker搭建集群 2.3. import包直接调用HBase2.4. 通过thrift接口调用HBasethrift是什么？hbase的thrift接口**使用说明详解1. 背景 由于项目中要存储海量的数据，传统的mysql等已经不能再满足需求，于是对项目进行改造。Hbase和RDBMS的比较可参考link，网上这类文...
1.互斥锁 互斥锁是一种常用的控制共享资源访问的方法，它能够保证同时只有一个goroutine可以访问共享资源。Go语言中使用sync包的Mutex类型来实现互斥锁。 使用互斥锁来修复上面代码的问题： var x int64 var wg sync.WaitGroup var lock sync.Mutexfunc add() {for i := 0; i < 50000; i++ {lock.Lock() // 加锁x = x + 1lock.Unlock() // 解锁}wg.Done() } func main() {wg.Add(2)go add()go add()wg.Wait()fmt.Println(x) }结果永...
0、各个版本机制 相关概念 垃圾回收内存管理自动释放三色标记法STW(stop the world) GO v1.3及之前GC - 标记清除法 STW：强制暂停当前程序的所有逻辑业务。标记清除(mark and sweep)：执行STW，遍历对所有的可达对象做上标记，（可达对象：通过该程序创建、调用和依赖的对象，不包括依赖该程序中对象的对象），剩余不可达的对象（即未标记的对象）清除。缺点：会使用STW，让程序暂停，性能低，程序卡顿；标记需要扫描整个heap，复杂...
今天是golang专题的第11篇文章，我们一起来聊聊golang当中多态的这个话题。 如果大家系统的学过C++、Java等语言以及面向对象的话，相信应该对多态不会陌生。 多态是面向对象范畴当中经常使用并且非常好用的一个功能，如果你之前没有学过的话也没有关系，我们用一个简单的例子来说明一下。多态主要是用在强类型语言当中，像是Python这样的弱类型语言，变量的类型可以随意变化，也没有任何限制，其实区别不是很大。 多态的含义 对于J...
govendor简介 golang工程的依赖包经常使用go get命令来获取，例如：go get github.com/kardianos/govendor ，会将依赖包下载到GOPATH的路径下。常用的依赖包管理工具有godep，govendor等，在Golang1.5之后，Go提供了 GO15VENDOREXPERIMENT 环境变量(Go 1.6版本默认开启该环境变量)，用于将go build时的应用路径搜索调整成为 当前项目目录/vendor 目录方式。通过这种形式，我们可以实现类似于 godep 方式的项目依赖管理。安装与使用...
golang time包时间的坑 参数为0是个坑 参数为0是个坑 t := time.Date(2021, 0, 0, 0, 0, 0, 0, time.Local)fmt.Println(t.Format("20060102"))在 month 参数为0 的时候,显示的是去年最后一天, t := time.Date(2021, 0, 1, 0, 0, 0, 0, time.Local)在 month为0, day为1的时候,显示的是 20201201,向前推了一年. 所以,总结就是 一个正常的参数是 1-12 , 0会向前借一个单位,和减法一样.比如 t := time.Date(2021, 0, 1, 0, 0, 0, 0, ti...
Golang在不同类型变量之间的赋值时候需要显示转换（强制转换），这和其他语言不同，Golang的数据类型不能自动转换。 转换表达式：T（v），将值v装换成T类型。 T：就是数据类型，比如：int32、int64、float32等。 v：就是需要转换的变量。 可以将这些装换，想象成一个个的方法。 细节说明： 1）Go中，数据类型的转换可以是从，表示范围小的--》表示范围大，也可以，范围大--》范围小 2）被转换的是变量存储的数据（即值），变量...
第一个go程序 package main//引用流行的 fmt 包, 其中包含格式化文本的功能，包含打印到控制台。这个包是一个 标准库包，在安装的 Go 的时候内置的。 import "fmt"//import "rsc.io/quote" //go get rsc.io/quote //拉不下开时设置代理 //go env -w GOPROXY=https://goproxy.cn//go env可看到配置和安装路径 //set GOPROXY=https://goproxy.cn //set GOPATH=C:\Users\Administrator\go//声明一个 main 包（包是一种管理功能的方法）...