为什么需要分布式？

根据摩尔定律，计算机的CPU性能每18m就会提升一倍，但由晶体管设计性能在已经达到物理上的极限（我在想，如果不改变（改革）怎么能适应现代运算储存的需求？）在05年，这个定律已经不攻自破，使得程序员要更加关注硬件性能问题，才问实现复杂的系统。

 

所以现在CPU都以multi cores来变通达到性能上的提升。另外,现在internet技术的广泛应用,产生的数据是海量的,最简单的例子就是SE了.鉴于这些，人们已经不再厚望于利用若干台高性能机器来实现复杂的系统，现在的大型编程模型都是大多要求分布计算，分布储存的并行性，分发性要求（如云计算等等）。同时我又想，即使你有一台超级计算机，形如1t内存，16核心CPU，100p硬盘等作为master，但如果万一这台机器遇到不测，整个数据中心就完蛋了，损失无法估计（特别是在核心军事部门等）。所以这就要求spare功能的master。正如老师说的：最好的记忆也不如一块难笔头！

 

幸好，现在的分布式系统对计算机的性能要求都不高，普通商用机器即可。这就使得人们对分布式设计和使用的的门槛大大降低。（实话说，如果没有java，全球将有多少人失业？java的诞生产生的影响影响深远；如果没有lucene或其它相关工具，你小子想全文检索，简直梦话，难道还是sql的like吗？；如果没有hadoop，你想实现分布式计算、存储？可以说，现在的开源软件使后来的我们在技术门槛上很常低，有时可以说0门槛，只要是一个人+一台能上网的pc就行了，呵呵。（想当年，华罗庚说，因为数学简单呀，只要一张纸，一支笔和一个脑袋就可以了）。

 

同时这些软件又相互促进，java的出现诞生了大批如struts,spring,jboss，lucene等东西；相反因为lucene,hadoop等的使用，又促进了java成为top 1编程语言的post。

 

两者，因为这些大型计算的实现，为智能化技术的发展提供了可靠数据支撑。

 

我想，为什么有个广告老说：采用intel移动计算技术...终于明白了。

现代数据海量的增加，这也是采用分布存储的原因之二呀；有了存储还缺什么？那就是计算，怎么利用这些数据进行充分分析整合利用。存储，计算都有了，缺什么？那就是在这基础上的分析，如hive,mahout等。有了这些还缺什么？缺管理，协调工具 ，那就是zk。

 

anyway,存储-》计算-》协调-》分析-》收集？大体上的流程都出来了。

最后说一句，在这十年，分布式技术和智能化技术终将是一个主流！

 

 

 

 

评论

1 楼 jpsb 2016-10-08