go语言写大数据算法,go语言做大数据

Go语言 排序与搜索切片

Go语言标准库中提供了sort包对整型，浮点型，字符串型切片进行排序，检查一个切片是否排好序，使用二分法搜索函数在一个有序切片中搜索一个元素等功能。

关于sort包内的函数说明与使用，请查看

在这里简单讲几个sort包中常用的函数

在Go语言中，对字符串的排序都是按照字节排序，也就是说在对字符串排序时是区分大小写的。

二分搜索算法

Go语言中提供了一个使用二分搜索算法的sort.Search(size,fn)方法：每次只需要比较㏒₂n个元素，其中n为切片中元素的总数。

sort.Search(size,fn)函数接受两个参数：所处理的切片的长度和一个将目标元素与有序切片的元素相比较的函数，该函数是一个闭包，如果该有序切片是升序排列，那么在判断时使用 有序切片的元素 = 目标元素。该函数返回一个int值，表示与目标元素相同的切片元素的索引。

在切片中查找出某个与目标字符串相同的元素索引

相关问答

Q1: Go语言设计与实现（上）

基本设计思路：

类型转换、类型断言、动态派发。iface，eface。

反射对象具有的方法：

编译优化：

内部实现：

实现 Context 接口有以下几个类型（空实现就忽略了）：

互斥锁的控制逻辑：

设计思路：

（以上为写被读阻塞，下面是读被写阻塞）

总结，读写锁的设计还是非常巧妙的：

设计思路：

WaitGroup 有三个暴露的函数:

部件：

设计思路：

结构：

Once 只暴露了一个方法：

实现：

三个关键点：

细节：

让多协程任务的开始执行时间可控（按顺序或归一）。（Context 是控制结束时间）

设计思路： 通过一个锁和内置的 notifyList 队列实现，Wait() 会生成票据，并将等待协程信息加入链表中，等待控制协程中发送信号通知一个（Signal()）或所有（Boardcast()）等待者（内部实现是通过票据通知的）来控制协程解除阻塞。

暴露四个函数：

实现细节：

部件：

包： golang.org/x/sync/errgroup

作用：开启 func() error 函数签名的协程，在同 Group 下协程并发执行过程并收集首次 err 错误。通过 Context 的传入，还可以控制在首次 err 出现时就终止组内各协程。

设计思路：

结构：

暴露的方法：

实现细节：

注意问题：

包： "golang.org/x/sync/semaphore"

作用：排队借资源（如钱，有借有还）的一种场景。此包相当于对底层信号量的一种暴露。

设计思路：有一定数量的资源 Weight，每一个 waiter 携带一个 channel 和要借的数量 n。通过队列排队执行借贷。

结构：

暴露方法：

细节：

部件：

细节：

包： "golang.org/x/sync/singleflight"

作用：防击穿。瞬时的相同请求只调用一次，response 被所有相同请求共享。

设计思路：按请求的 key 分组（一个 *call 是一个组，用 map 映射存储组），每个组只进行一次访问，组内每个协程会获得对应结果的一个拷贝。

结构：

逻辑：

细节：

部件：

如有错误，请批评指正。

Q2: go是什么编程语言？主要应用于哪些方面？

Go语言由Google公司开发，并于2009年开源，相比Java/Python/C等语言，Go尤其擅长并发编程，性能堪比C语言，开发效率肩比Python，被誉为“21世纪的C语言”。

Go语言在云计算、大数据、微服务、高并发领域应用应用非常广泛。BAT大厂正在把Go作为新项目开发的首选语言。

Go语言能干什么?

1、服务端开发：以前你使用C或者C++做的那些事情，用Go来做很合适，例如日志处理、文件系统、监控系统等;

2、DevOps：运维生态中的Docker、K8s、prometheus、grafana、open-falcon等都是使用Go语言开发;

3、网络编程：大量优秀的Web框架如Echo、Gin、Iris、beego等，而且Go内置的 net/http包十分的优秀;

4、Paas云平台领域：Kubernetes和Docker Swarm等;

5、分布式存储领域：etcd、Groupcache、TiDB、Cockroachdb、Influxdb等;

6、区块链领域：区块链里面有两个明星项目以太坊和fabric都使用Go语言;

7、容器虚拟化：大名鼎鼎的Docker就是使用Go语言实现的;

8、爬虫及大数据：Go语言天生支持并发，所以十分适合编写分布式爬虫及大数据处理。

Q3: C，C++，MATLAB，Python，Go 哪个比较适合写算法

仅仅就学习算法，还是C++/Java/C#最适合。

首先，没泛型的语言未必工作不好用，我司现在服务端代码几乎都是go，但是没有泛型，写通用的代码就是不好用。我用Go把半本《算法》实现了一遍，移植了Haskell 的 Parsec 库。这些代码大部分都在我团队的项目里实际使用。你要说 Go 有多熟练未必，但是要说它在语言功能上有多少坑我倒是挺熟悉。没泛型的话算法实现起来太坑人了，别的不说 float32/float64/int8/int16/int32/int64/int 这些数值类型你能都覆盖么？如果只是基于某一组有限的数据类型和问题领域实现一遍，用 go 倒是不错，它环境配置容易，不太依赖ide，但是对ide还是比较友好的，天然集成test，编译快速，模型简单，学习容易，可以说是我用过的静态编译型语言里最像动态脚本语言，最适合快速开发微型工具的。

其次，Python/Ruby 这类语言其实不太适合练习算法实现，它们太“高级”了。例如用Python的时候，你很难规避它的内置容器List和Dict，这些东西封装了太多东西，在学习的过程中容易被干扰。另外没有静态的类型控制，在学习过程中也会失去一些知识。倒不是就会导致你后半生这部分都不能自理，但是需要另外学习。

在我的经验，要学习算法，C++/C#/Java 仍然是比较好的选择，它们的泛型已经比较成熟，能够在学习中建立比较完备的知识概念。可以找到一些比较好的IDE用，我个人其实在工作中不怎么用IDE，但是算法学习的时候，有个不错的IDE可以帮你跟踪代码的运行过程，还能比较容易的做性能分析，这样就可以用动态、直观、形象的视角去理解和观察算法。这对学习非常有帮助。

如果只是在一个特定的领域做知识学习的工具，其实C++反而不算很难，C++的难度主要在于覆盖的领域太广泛，当你要做一个专业的C++程序员，要掌握的东西就太多了。

个人不太建议用C去学习这些东西，需要处理太多跟问题本身无关的事情了。