Linux的Hugepage

熟悉Linux内核内存管理机制的同学应该知道,在默认情况下,对于64bit的Linux kernel,内存页面是以4K为单位来管理的。这对于内存比较小的主机来说没有什么问题,但很明显的是对于较大——或者说现在16G内存应该已经成为服务器的标配了。这么小的粒度明显会带来很对性能的问题。

继续阅读“Linux的Hugepage”

推荐阅读:
事出前些日子有人咨询我:“在某
时延 latency(亦称为延
似乎每次开头都要讲述一下计算机

influxdb和时间序列数据

对于运维、监控来说,我们经常会碰到大量的和时间有关的数据。最典型就是各种主机运行数据,例如CPU的使用率、磁盘占用、网络实时带宽等。这样的数据综合起来有几个共同的特点:

  1. 和时间具有强关联性,也就是说在偏离了同一个时间维度的情况下来衡量数据就没有什么太大的价值了。
  2. 这些数据集合的大小事实上可以由采样频率来决定。只要你愿意取样,数据就在那边。
  3. 越旧的数据,数据本身的价值就越低。也就是说数据集的大小事实上跟数据的价值并不成正比。

继续阅读“influxdb和时间序列数据”

推荐阅读:
事情是这样:数据库是MySQL
上次说搞了SQL Server
研究了一段时间的SQL Ser

谈一个MySQL语句的优化

事情是这样:数据库是MySQL,有若干个连接保持每秒2~3条的速度向表同一个表里写入“日志型”记录。表的结构除了一个必要的自增主键id之外,还有一个做了索引的type(tinyint)、time(timestamp)和一个ipc(float)类型的字段。一个读进程定时会要抓取每种type的最后一条记录。数据库的读写都很热,所以要尽可能的保证性能。

继续阅读“谈一个MySQL语句的优化”

推荐阅读:
算起来Litrin在生产环境中
emoji是iso和Mac O
上次提到过Coreseek的安

Mesos管理Hadoop集群

还是说Mesos的话题。

作为Mesos,本质上是一个支持用户将整个机房中的所有硬件资源全部抽象化,然后随意的组合和分配。而作为Hadoop来说本身就是一个资源的无底洞,两个组合就是绝配了!

首先,还是需要提前按照这篇教程搭建一个Mesos集群。同时,本文中出现的所有IP地址以及主机角色也是按照上文中的配置。

继续阅读“Mesos管理Hadoop集群”

推荐阅读:
任何一个合理的应用程序的运行时
在虚拟机的日常使用和开发中,我
之前我们通过几个概念简单的介绍

MongoDB Shareding部署

几年前写过MongoDB的Sharding和replication。其实现在看起来Replication还是可以,Sharding的部分有点过于简单了。于是现在重新补充一下,至少也更新下,毕竟现在的MongoDB已经到了2.6,于当时的2.2还是有所差异的。

继续阅读“MongoDB Shareding部署”

推荐阅读:
之前写过一篇关于syslog的
MongoDB,可能是近些时间
近一年来始终专注于No-SQL

syslog-ng+mongodb构建集中日志服务

之前写过一篇关于syslog的东西,同时,对于mongodb来说,本站的介绍也不少,MongoDB一直是站长Litrin又爱又恨的no-sql数据库。

上次也说过,做一个集中化的日志系统,最为主要的优势在于它非常容易做日志分析和挖掘,而且对于松散的日志数据来说MongoDB又是一个很好的数据容器。说实话,Litrin很久之前就苦于自己写脚本将日志文件拆分后导入Mongo中进行数据分析,非常不方便。直到前些日子研究了一下syslog-ng,果然有人实现了这个插件——syslog直接写数据到MongoDB!

继续阅读“syslog-ng+mongodb构建集中日志服务”

推荐阅读:
自打从硬件方向研究性能优化起,
之前我们通过几个概念简单的介绍

致还在喷12306的同行

眼看着要过年了,又到了一家人排队买过车票的时间了。今年的排队不同于以往,这次大家都集中到了12306上面排队了。

要说前些年排队,只要你能吃苦,肯熬夜,总能买到票。可今年这个优势俨然成了会不会用网路、网速、手速的大比拼。加上天天500的网站,大量的人狂喷12306。大致上理由如下(由深至浅):

  1. 无法访问
  2. 各种各样的漏洞:退票、延期付账漏洞、身份证/姓名伪造漏洞等。
  3. 前端简陋

继续阅读“致还在喷12306的同行”

推荐阅读:
似乎每次开头都要讲述一下计算机
5月中旬,我参加了在加利福尼亚
长久以来,我们对计算机资源的理

Linux下Python连接MS SQL Server

上次说搞了SQL Server的主备模式,这次就说说用Python连接SQL Server吧。不过这次是全套头的开源解决方案哦。所需环境还是惯用的那一套 :Ubuntu 1204 LTS 64bit.

SQLServer是一款实实在在的商业软件,m$出品,似乎和开源,免费之类的词语搭不上边。但既然有share folder的逆向工程Samba,就一定会有SQLServer的逆向工程。FreeTDS就是这个东西。

继续阅读“Linux下Python连接MS SQL Server”

推荐阅读:
5月中旬,我参加了在加利福尼亚
之前发过一个帖子介绍了RDT在
继续在NUMA和性能差异的路上

SQL Server的主备模式

研究了一段时间的SQL Server Replication,本身“开源小站”来说,贸然出现了M$的东西真的是非常突兀。几番纠结,还是分享出来吧。

对于Replication来说,其实对于MySQL来说就是Master-Slaver同步,对于Oracle来说,更接近于Data Guard

继续阅读“SQL Server的主备模式”

推荐阅读:
5月中旬,我参加了在加利福尼亚
之前发过一个帖子介绍了RDT在
继续在NUMA和性能差异的路上

redis的lua

Redis在2.6之后增加了基于lua语言的解析模块,它允许用户端通过简单的lua语言实现简单的事务和逻辑运算。个人觉得对于一个Key-value服务器来说,这么做的确有些剑走偏锋的意思,但我相信在现实中确实有这样的需求。这些天,通过简单的脚本,测试了一下redis的lua脚本。

继续阅读“redis的lua”

推荐阅读:
众所周知redis的持久化有A
近一年来始终专注于No-SQL
碰到一个悲催的事情:一台Red