Mesos管理Hadoop集群

还是说Mesos的话题。

作为Mesos,本质上是一个支持用户将整个机房中的所有硬件资源全部抽象化,然后随意的组合和分配。而作为Hadoop来说本身就是一个资源的无底洞,两个组合就是绝配了!

首先,还是需要提前按照这篇教程搭建一个Mesos集群。同时,本文中出现的所有IP地址以及主机角色也是按照上文中的配置。

继续阅读“Mesos管理Hadoop集群”

推荐阅读:
任何一个合理的应用程序的运行时
在虚拟机的日常使用和开发中,我
之前我们通过几个概念简单的介绍

Hadoop的单机部署

 

要说最近最热的云计算,不得不提Hadoop。这个项目就是为集群运算而生的。依赖于它的项目n多,个人感觉hadoop已经逐渐成为一个“基于Java的分布式运算中间件”。

这里安装的hadoop为ver 0.21.0版本,包含了HDFS分布式文件系统。平台为老一套的Ubuntu 1104 server for amd64。

既然是Java Base的,首先要准备jdk环境。默认1104已经把java从apt中剔除了——跟oracle收购sun不无关系,尽管openjdk还在,我还是建议安装sun-jdk。具体实现如下:

继续阅读“Hadoop的单机部署”

推荐阅读:
5月中旬,我参加了在加利福尼亚
之前发过一个帖子介绍了RDT在
继续在NUMA和性能差异的路上