Mesos管理Hadoop集群

还是说Mesos的话题。

作为Mesos,本质上是一个支持用户将整个机房中的所有硬件资源全部抽象化,然后随意的组合和分配。而作为Hadoop来说本身就是一个资源的无底洞,两个组合就是绝配了!

首先,还是需要提前按照这篇教程搭建一个Mesos集群。同时,本文中出现的所有IP地址以及主机角色也是按照上文中的配置。

继续阅读“Mesos管理Hadoop集群”

推荐阅读:
上次说到了一篇关于docker
Mesos是一个托管于Apac
前两篇东西,我们分别介绍了Me
之前已经连续说了几篇关于Doc

Hadoop的单机部署

 

要说最近最热的云计算,不得不提Hadoop。这个项目就是为集群运算而生的。依赖于它的项目n多,个人感觉hadoop已经逐渐成为一个“基于Java的分布式运算中间件”。

这里安装的hadoop为ver 0.21.0版本,包含了HDFS分布式文件系统。平台为老一套的Ubuntu 1104 server for amd64。

既然是Java Base的,首先要准备jdk环境。默认1104已经把java从apt中剔除了——跟oracle收购sun不无关系,尽管openjdk还在,我还是建议安装sun-jdk。具体实现如下:

继续阅读“Hadoop的单机部署”

推荐阅读:
自从Centos7/Redha
之前我们通过几个概念简单的介绍
自打从硬件方向研究性能优化起,
事出一个朋友问题:通过Dock