武汉金信润天小编整理了IT大神对算法的认知过程和对大数据算法的理解。谈起算法大家都只会想到经典算法和机器算法,除此之外还有很多有意思的算法,特别是为了解决大数据量问题的算法,这些很容易被忽略掉,但是这才算是大数据算法。
Linux运维武汉金信润天
0x01 认知过程
1. 算法没什么用
刚入坑的时候,一直以为大数据工程师就是安装一下 Hadoop,写写 MR 程序,运维一下集群就够了,虽说算法很重要,但是工作中没有什么感觉。
2. 经典算法的魅力
做了一段时间大数据运维后,接到了一个优化调度系统的任务,就和 Gim 老司机在一起设计重构调度系统的方案,在这个过程中复习了很多图论相关的知识点,从此开始对算法产生了极大的兴趣并一发不可收拾,随后重新学习了一遍树相关的内容,自己动手实现了什么2-3树、avl树、红黑树这些数据结构。
3. 机器学习代表了一切
再接着,机器学习一下子就火了起来,世界上只剩下了两种算法:机器学习算法和非机器学习算法。身边的朋友和同学,凡是和数据开发相关的,都称自己想转做机器学习。笔者也不能免俗,开始准备跟着浪潮走一波。但是一没场景,二是兴趣不大,当有一天突然意识到自己在学机器学习累的时候居然想玩玩 Linux 放松心情的时候,就暂时放弃了转向机器学习的这个想法。以后我会用到它,可能还会用的很深,但是现在不会全身心地转向它。
4. 深度学习又是一波浪潮
感触最深的是在看到了一份招聘要求,招的 title 是人工智能平台架构师,具体的要求是除了数据平台要求的东西外加了一些深度学习平台的东西。这时候就感到,当浪潮到来的时候,你可以不转向它,但是要包容它。
5. 还有很多有趣的算法
随着工作的深入,系统在性能上遇到了很多了瓶颈,我们要做一系列的调整来应对,比如敏感信息的加密、集群文件的压缩、负载均衡策略的选择,这时候就不得不深入学习一下加密算法、压缩算法、负载均衡算法的原理。
这些算法一直都在,但是仍然可以在现在的大数据场景下发挥极大的作用。
6. 分布式算法
7. 大数据算法到底是什么?
在工作和学习中遇到了这么多算法,再加上一段时间的思考,大数据的算法到底是什么样子的?经典算法暂且不论,压缩和加密算法也一直都有。那么机器学习呢?总感觉有些地方不对劲,应该说是机器学习是使用了大数据,但是他不是为了解决大数据的各种问题的,真正的大数据问题还要有大数据的算法来解决。
分布式算法也不完全算是,虽说大数据工程师都要用到分布式系统,但是他们解决的问题场景不太一样的。分布式算法要解决时钟、一致性问题这些问题。大数据场景的算法不太一样。
8.早就应该去武汉金信润天学习Linux运维大数据
这些都是大数据Linux运维的几点小知识,那么这些大数据Linux运维具体如何操作,小编了解到,在武汉金信润天就可以学到大数据Linux运维的体系知识,包括了大数据、Linux运维等等在内的知识。目前各大企业都需要这方面的人才,也是在Linux运维这块人才短缺,学习Linux运维的知识,武汉金信润天。
Linux运维武汉金信润天http://www.runtimewh.com