Mesos管理Hadoop集群

还是说Mesos的话题。

作为Mesos,本质上是一个支持用户将整个机房中的所有硬件资源全部抽象化,然后随意的组合和分配。而作为Hadoop来说本身就是一个资源的无底洞,两个组合就是绝配了!

首先,还是需要提前按照这篇教程搭建一个Mesos集群。同时,本文中出现的所有IP地址以及主机角色也是按照上文中的配置。

继续阅读“Mesos管理Hadoop集群”

推荐阅读:
任何一个合理的应用程序的运行时
在虚拟机的日常使用和开发中,我
之前我们通过几个概念简单的介绍

且谈“IT对于传统行业的颠覆”

这些天,正好家里忙些房屋置换的杂事。凡是这些事,总少不了要找房屋中介。于是,也就是打发时间的时候,跟中介的一个小伙聊了聊这个行业。老实话,对于这些靠嘴皮子吃饭的人,聊天内容本应半信半疑。可几个关键问题谈下来,觉得很多关键点却是很有意思。

继续阅读“且谈“IT对于传统行业的颠覆””

推荐阅读:
“产业升级”这个词汇最近几年经
若干年前,老妈总会一次性买很多
似乎还是在眼前的事儿一般,不知

虚拟化砂盒Docker

传统意义上的虚拟化,大多都是提供一个虚拟化的主机。从用户层面上来说,访问这个虚拟化主机跟访问一个真实的物理主机没有太大的区别——也就是Paas(Platform As A Service)平台即服务,针对于SaaS(Software as a service)而言,用户的迁移成本比较低。但从以往的开发经验来说,开发->测试->部署3个环境总会有差异存在,这也就对应用的一致性提出了挑战。

Docker就是一个旨在解决这种一致性问题的开源项目。对于应用本身更加接近于一个从操作系统直到代码的封装砂盒。无论运行在什么环境下,砂盒都不需要任何的外部依赖。

继续阅读“虚拟化砂盒Docker”

推荐阅读:
似乎每次开头都要讲述一下计算机
5月中旬,我参加了在加利福尼亚
长久以来,我们对计算机资源的理

应用框架Gearman

gearman,学习好莱坞大片的翻译方式暂且翻译成“齿轮侠”。是一个“标准的应用程序框架”,它提供了一些列的语言接口,实现了简单方便的跨主机调用、任务分配和伪队列服务。说了这么多,其实我个人的理解就是提供了一套trigger接口,允许一台主机通过业务码执行另一台主机上定义好的任务,而gearman则负责一系列的任务分配和管理。

不同于习惯上的server/client端的称呼,Gearman的角色是server/worker/client。Server正式gearman本身,worker故名思义就是“干活的机器“,client则是发送任务的机器。——貌似Agent/worker/boss更加形象 🙂

继续阅读“应用框架Gearman”

推荐阅读:
似乎每次开头都要讲述一下计算机
5月中旬,我参加了在加利福尼亚
长久以来,我们对计算机资源的理

rsyslogd服务的配置和使用

日志分析是一个成熟的应用中必不可少的,由于现阶段很多系统都是通过多机负载的方式提供服务,多机的设置带来的问题是日志文件也会存放在多台主机之上。如果简单的进行非实时的日志分析,这样的局面只要进行一次日志合并就好了,不会影响太大,但对于实时日志分析而言,这样做的麻烦多多。你当然可以采用nfs或者其他类似的文件共享实现,这样的问题又会出现在时间同步上,同样的,日志的频繁更新,以及TCP的通讯代价,造成当分析较多主机的时候同样也会有诸多问题。

继续阅读“rsyslogd服务的配置和使用”

推荐阅读:
自打从硬件方向研究性能优化起,
之前我们通过几个概念简单的介绍

Ctypes实现“C重构”

现阶段很多网站都是基于非编译的语言,例如Php,Python语言完成。这样做的效果是开发效率很高,同时开发人员也很容易就位。当网站访问量达到一个数量级之后,就会遇到传说中的C10K问题,借助解释型语言的性能劣势,整个网站会到达一种“无处修改,无处优化,无处升级”的怪圈。这时候往往就会需要采用更加底层的C去重构部分或整个项目,“C重构”由此而来。当然,技术的进化也很迅速,FaceBook开源了hiphop这个PHP2C的工具,可以部分自动化的实现“C重构”。

一直把Python当成胶水语言来用,这次就接着这个话题,说个Python C重构的例子:

继续阅读“Ctypes实现“C重构””

推荐阅读:
深入读了读python的官方文
正值毕业季,这些天一直忙于面试
尽管现在有了wheel这类更为

Redhat的壁垒

前些日子,Redhat宣布将要改变现有的发行版本和补丁包的命名方式,并且直言不讳的说这样是为了“有效的防止竞争对手介入”。一点也不突然,自从Fedora从Redhat中分离的那一天起,这一天就迟早会到来,我反而觉得Redhat动手太迟了。

相比正统到迂腐的“HAT”,“FEDORA”休闲了很多,也正如单词本身的定位,现在的Redhat事实上是Redhat Enterprise Linux( 红帽企业Linux,RHEL)的意思,fedora成为了社区维护的Linux。事实证明,这种战略确实在尽可能的减少开支的情况下给Redhat带来了可观的收益。

说起盈利,目前正统的linux厂商甚至于开源软件厂商的盈利模式无外乎卖服务而已。显然的是,Redhat不但从技术上还是市场上,这些年一直是 作为商业Linux的标杆而“神一样的存在”。大量的应用甚至到专门为Redhat而开发。但说实话,Redhat的价格高的有些离谱,授权费用甚至超过商业Windows或者Unix。作为商业行为我们无可厚非,但对于这些专属应用的下场确实一个艰难的决定:要么放弃,要么使用非授权版本的RHEL。显然Centos的存在就是弥补了这样一个空缺——除了商标之外就是一个RHEL。当然,一贯在商业上滑头的Oracle也是搞了一套RHEL like的Oracle Linux;类似的还有Novell提出可以为客户维护RHEL的服务,这里也不再累述。

继续阅读“Redhat的壁垒”

推荐阅读:
“产业升级”这个词汇最近几年经
若干年前,老妈总会一次性买很多
似乎还是在眼前的事儿一般,不知

再谈谈 Oracle+Sun=?

上次写过几篇东西,关于Oracle收购Sun的。Oracle+Sun=? , Sun的身前身后事

如今尘埃落定,www.sun.com 也已经被重定向到了www.oracle.com 。至少局外人看来,两家公司已经合并,而且至少不是失败的。

也就是在今天,得知oracle放出消息:今后Solaris不再免费提供,下载版本只提供90天的试用。如果使用,请买授权!

从个人角度上来说,我当然希望是提前一天庆祝了明天的节日。但事实上这并非是空穴来风。

继续阅读“再谈谈 Oracle+Sun=?”

推荐阅读:
5月中旬,我参加了在加利福尼亚
之前发过一个帖子介绍了RDT在
继续在NUMA和性能差异的路上

为GIMP的退出叫好

自从第一次接触Linux的桌面版,我就认识了GIMP这个软件。印象最深的就是那个戴着“南瓜帽”的小狐狸形象。近期得到消息,Ubuntu这个目前拥有最大Linux Desktop份额的发行版从下一版本(1004)后正式将GIMP排除在默认安装包之外。

从GIMP本身说起,这是一个很强大的图片编辑软件,很多功能已经达到或者超过了昂贵的Photoshop。曾经用它处理过几次图片,效果也很让我满意。但作为Linux桌面版必备的软件,它的利用率可能是最低的了——有太多太多的软件可以替代它的位置,而且不同于OpenOffice,你无法要求每一个Linux用户都修改图片,或者已经被PS浸染的人回过头来用这个甚至买不到一本参考书的GIMP。

继续阅读“为GIMP的退出叫好”

推荐阅读:
一直用ubuntu作为自己的开
Xdebug是一个很方便的PH
正如之前说的,很多情况下我们需

圈圈

就在今天Google宣布了他蓄谋已久的,以一个三色圈圈为Logo的单机操作系统——Chrome OS。由于正如Google的手机操作系统一样,这次又是一个Linux内核的操作系统。

Google的理念是:既然浏览器逐渐成为了一台PC最常用的软件,那为什么不把它升级为PC中唯一的软件?理念看似很超前。

不禁想起了N多年前IBM的预言:最终全世界只需要4台主机。这个想法至今看起来仍然很荒谬。但可以看得出,google以致这一阶段很是热门的“云计算”概念其实也是在实现IBM的理想。

说道这个理念,就不妨谈谈微软,这个利用一句:“每个书桌上都应该有一台PC。”瓦解了IBM的痴心妄想。IBM当初是专注于硬件的,最赚钱的是卖超级计算机而不是白菜价的PC,所以他们后来才会把PC业务卖掉;微软是做软件的,一台PC收一份钱,越多越好;google是做服务的,集中起来才能将效益最大。现在软件都像当初硬件一样“白菜化”了,今后如何。重新定义,再次赚钱。

继续阅读“圈圈”

推荐阅读:
一直用ubuntu作为自己的开
Xdebug是一个很方便的PH
正如之前说的,很多情况下我们需