这些天，系统在部分时间（不一定是高峰期），会出现大量的堵塞。堵塞每次持续时间最多5分钟，之后要么自己恢复，要么系统IO吃光。已经排除了病毒或者网络的问题。

利用sqlserver自带的“事件探查器”发觉大多数的阻塞都是跟其中的一个表有关。这个表数据有3M行的数据，并建立了聚合索引。
反复优化索引，系统没有起色。狠心删除了主键的聚合索引，问题竟奇迹般的解决了！
将聚合索引索引转为非聚合索引之后，系统再也没有出现故障。

分析下来大致如此：

1. 系统纪录的日志文件是以时间倒序为聚合索引，但由于日志的记入方式决定了数据的纪录方式并非按照顺序。即会出现新纪录比旧纪录先写入的情况。
2. 3百万行的数据大约有500~700M的磁盘空间占用，按照聚合索引占整体数据大小的30%来计，索引大小大约为200M左右。
3. 由于聚合索引是按照固定的顺序纪录，出现乱序的数据写入，sqlserver就必须重建聚合索引，每次都要重新生成这200M。
4. 200M的数据需要相当长的时间，在此期间如果再有数据记入，行锁就上升为表锁，故出现系统阻塞。而之前一直没有出现问题，只不过是由于数据小，而索引生成的很快罢了。

所以建议聚合索引的使用前请确认在大数据的情况下务必保证新加的数据都在文件的末尾，这样系统就不会因为频繁的重建索引而造成数据阻塞或者IO的浪费。

原理上很简单，到头来python的smtplib调试了半天才ok，为了方便，重新封了一下包，基本上的用途都在里面了。分享给各位！
提醒各位：不要用它来收发垃圾邮件！

##
##******************************************************************************
##   NAME:       SendMail
##   PURPOSE:   
##
##   REVISIONS:
##   Ver        Date        Author           Description
##   ---------  ----------  ---------------  ------------------------------------
##   1.0        2010/06/28  Litrin J.        1. Created this Script.
##
##   NOTES:
##
##      Object Name:     SendMail.py
##      Sysdate:         2010/06/28
##     
##      Username:         Litrin Jiang
##      Website:          litrin.net
##
##******************************************************************************
##
import sys
import smtplib
import email
import re
class SendMail:
   
    MailServer = {}
    MailServer['UserName'] = ''            
    MailServer['Password'] = ''                 #SMTP密码
    MailServer['Host'] = ''
    MailServer['SSL'] = False
    MailServer['Port'] = 0
    Subtype = 'html'
    Charset = 'gb2312'
    SenderName = ''
    ReciverName = ''   
    Notification = False
    __aRealAddressList = []
   
    def __init__ (self, From = '', Address='', Subject='', Body='', CCAddress = '', BCCAddress = ''):
        if ((From + Address + Subject + Body) != ''):
            self.Send(self, From, Address, Subject, Body, CCAddress = '')
       
    def Send(self, From, Address, Subject, Body, CCAddress = '', BCCAddress = ''):
        self.Email = email.MIMEText.MIMEText (Body,_subtype=self.Subtype, _charset=self.Charset)
        self.Email['From'] = self.AddressList(From, self.SenderName, False)
                   
        self.Email['To'] = self.AddressList(Address)
        if CCAddress != '':
            self.Email['Cc'] = self.AddressList(CCAddress)
        if BCCAddress != '':
            self.AddressList(BCCAddress)
           
        self.Email['Subject'] = self.StrEncode(Subject)
       
        self.Email['X-Maile'] = 'Python Script by Litrin.net'
        self.Email['X-Python-Version'] = str(sys.platform) + str(sys.version_info)
       
        if (self.Notification) :
            self.Email['Disposition-Notification-To'] = From
 
        self.__ServerSending()
    def StrEncode(self, String, Charset = ''):
        if Charset == '':
            Charset = self.Charset
           
        return str(email.Header.Header (String, Charset))
    def AddressList(self, oAddress, ReciverName = '', SendingList = True):
        if isinstance(oAddress, dict):
            To = ''
            for dAddress in oAddress :
                To += self.AddressList(oAddress[dAddress],dAddress )  + ','
            return To
       
        elif isinstance(oAddress, list):
            To = ''
            for sAddress in oAddress :
                To += self.AddressList (sAddress, '') + ','
            return To
       
        else:
           
            try :
                self.CheckEmail(oAddress)
            except:
                print oAddress + 'is not a Email address!'
                exit()
               
            if ReciverName == '':
                ReciverName = self.ReciverName     
           
            if ReciverName != '':
                To = self.StrEncode(ReciverName) + '<' + oAddress + '>'
            else:
                To = oAddress
               
            if SendingList :
                self.__aRealAddressList.append(oAddress)               
            return To
   
    def CheckEmail(self, sEmailAddress):
        sRegex = r'^\w+((-\w+)|(\.\w+))*\@[A-Za-z0-9]+((\.|-)[A-Za-z0-9]+)*\.[A-Za-z0-9]+$'
        return re.match(sRegex, sEmailAddress)
   
    def __ServerSending(self):
        if (self.MailServer['SSL'] == False):
          
            server = smtplib.SMTP(self.MailServer['Host'],port = self.MailServer['Port'])
        else:
            server = smtplib.SMTP_SSL(self.MailServer['Host'], port = self.MailServer['Port'])
          
        server.login(self.MailServer['UserName'], self.MailServer['Password'])
       
        for sAddress in self.__aRealAddressList:           
           
            server.sendmail(self.Email['From'], sAddress, self.Email.as_string())
           
        server.quit()
if __name__ == '__main__':
    mail = SendMail()
    mail.MailServer['UserName'] = ''            
    mail.MailServer['Password'] = ''                 #SMTP密码
    mail.MailServer['Host'] = ''
    #mail.MailServer['SSL'] = True
    mail.SenderName = 'Litrin J.'
   
    mail.Send(From = 'abc@123.com',
              Address = 'abc@71inc.com',
              Subject = 'Subject:test',
              Body = '<b>This is a test mail!</b>')
 

服务器中经常需要对大规模的数据进行压缩，传统使用单进程操作不足以体现8核CPU并发的威力。于是写了一个脚本用于多进程压缩。然而在windows的主机上进行调试，全都是死循环，以至于机器都无法进行响应。导入Linux主机，测试却通过。对脚本进行了精简如下：

出错的代码：

from multiprocessing  import Process
#from threading  import Thread
def work(a):
    print "This is : " + str(a) + '\n'
    exit
x = 2
while(x>1):
    p = Process(target=work, args=(x,))
    p.start()
    x -= 1

类似的调用方法，换成threading库是正确的

#from multiprocessing  import Process
from threading  import Thread
def work(a):
    print "This is : " + str(a) + '\n'
    exit
x = 2
while(x>1):
    thread = Thread(target=work, args=(x,))
    thread.start()
    x -= 1

翻阅了官方文档，找到了问题所在：

*Nix平台对于multiprocessing 的实现是基于C库中的fork()，所有子进程与父进程的数据是完全相同，可以说是父进程的完全克隆。
而对于windows，由于windows对于进程的实现方式不同，没有fork()函数，multiprocessing 的调用只能是对于该脚本的重新调用，难怪会出现死循环的问题。

改良后的代码：

from multiprocessing  import Process
#from threading  import Thread
def work(a):
    print "This is : " + str(a) + '\n'
    exit
if __name__ == '__main__' :
    x = 2
    while (x>1):
        p= Process(target=work, args=(x,))
        p.start()
        x -= 1

对于multiprocessing 和 Threading的区别：

Threading的操作只能和父进程在同一个物理CPU上执行。但由于不需要底层的调用，大多数简单的操作效率很高。
multiprocessing的操作可以在多个CPU上执行，但耗费的内存资源也远高于thread方式，适合于集中运算或大并发的状态。

查阅了官方网站，发掘Google Syntax Highlighter for WordPress插件用的1.5版已经停止更新，只能使用2.0以上的版本，但2.0版本和之前的版本又存在兼容的问题，直接替换是不行的。不想每篇文章的修改<pre>标记，那就改插件喽。

1. 下载最新版本的Syntax Highlighter，解压。
2. 将原来/wp-content/plugins/google-syntax-highlighter目录下的Scripts和Styles目录清空后，分别用新版本的对应路径中的文件替换，注意大小写方式请不要变动。
3. 修改google_syntax_highlighter.php文件，我用了minify的插件，这里就直接调用了。

<?php
function insert_header() {
 $current_path = get_option('siteurl') .'/wp-content/plugins/' . basename(dirname(__FILE__)) .'/';
 ?>
 <link href="<?php echo $current_path; ?>Styles/shCore.css" type="text/css" rel="stylesheet" />
 //可根据自己的需要选择不同的Styles
 <link href="<?php echo $current_path; ?>Styles/shThemeEclipse.css" type="text/css" rel="stylesheet" />
 <?php
}
function insert_footer(){
$current_path = 'wp-content/plugins/' . basename(dirname(__FILE__)) .'/';
 ?>
<?php
/*
<script src="<?php echo $current_path; ?>Scripts/shCore.js"></script>
<script src="<?php echo $current_path; ?>Scripts/shLegacy.js"></script>
<script src="<?php echo $current_path; ?>Scripts/shBrushCSharp.js"></script>
<script src="<?php echo $current_path; ?>Scripts/shBrushPhp.js"></script>
<script src="<?php echo $current_path; ?>Scripts/shBrushJScript.js"></script>
<script src="<?php echo $current_path; ?>Scripts/shBrushJava.js"></script>
<script src="<?php echo $current_path; ?>Scripts/shBrushVb.js"></script>
<script src="<?php echo $current_path; ?>Scripts/shBrushSql.js"></script>
<script src="<?php echo $current_path; ?>Scripts/shBrushXml.js"></script>
<script src="<?php echo $current_path; ?>Scripts/shBrushDelphi.js"></script>
<script src="<?php echo $current_path; ?>Scripts/shBrushPython.js"></script>
<script src="<?php echo $current_path; ?>Scripts/shBrushRuby.js"></script>
<script src="<?php echo $current_path; ?>Scripts/shBrushCss.js"></script>
<script src="<?php echo $current_path; ?>Scripts/shBrushCpp.js"></script>
*/
<script src="/wp-content/plugins/wp-minify/min/?b=<?php echo $current_path; ?>Scripts&f=shCore.js,shLegacy.js,shBrushPhp.js,shBrushSql.js,shBrushPython.js"></script>
<script>
dp.SyntaxHighlighter.ClipboardSwf = '<?php echo $current_path; ?>Scripts/clipboard.swf';
SyntaxHighlighter.all();
dp.SyntaxHighlighter.HighlightAll('code');
</script>
<?php
}
add_action('wp_head','insert_header');
add_action('wp_footer','insert_footer');
?>

测试，通过！

CVS结构示例：1300428,浙江省嘉兴市,联通130卡 （一个手机号码的对应归属地列表）

configfile:

from google.appengine.ext import db
from google.appengine.tools.bulkloader  import Loader
class MobilePhone(db.Model):
  Number = db.StringProperty()
  Area = db.StringProperty()
  BrandType = db.StringProperty()
class MPLoader(Loader):
  def __init__(self):
    Loader.__init__(self, 'MobilePhone',
                    [('Number', unicode),
                     ('Area', unicode),
                     ('BrandType', unicode),
                     ])
loaders = [MPLoader]

主要分析了一下，问题分为几类。

1.验证不能通过的问题：

这个问题很多时候是一个低级错误，之前我曾经犯过类似的错误。在app.yaml中的handlers

handlers:
- url: /remote_api
  script: $PYTHON_LIB/google/appengine/ext/remote_api/handler.py
  login: admin
- url: /*
  script: main.py

这个/*的配置必须放在最后。否则所有的访问都会直接匹配main.py自然出现问题。

2.跟编码有关的错误：

这个错误是GAE SDK的一个bug，恐怕对于ASCII系统的用户没什么关系，对于我们UTF-8，GB2312，ASCII已经昏倒的用户来说，这是个严重的问题。

在GAE的安装目录下 google\appengine\tools\bulkloader.py文件中2521行

    for (name, converter), val in zip(self.__properties, values):
      if converter is bool and val.lower() in ('0', 'false', 'no'):
        val = False
      properties[name] = converter(val)

修改为：

    for (name, converter), val in zip(self.__properties, values):
        if converter is bool and val.lower() in ('0', 'false', 'no'):
            val = False
        if isinstance(val,str) and not isinstance(val, unicode):
            val=unicode(val,'utf-8')
        properties[name] = converter(val)

系统会将unicode类型的变量转换。

3.对于大容量数据的删除

GAE的限制，一次最多载入1000行的数据，每次最多删除500行数据，这对于像我制作的手机号码归属之类的大数据库是远远不够的，多次删除又会导致500报错，我的方法是使用task queue。
Task Queue在官方的中文文档中没有提及，在英文文档中介绍的也不够详细。个人的理解就是让系统定期的去访问一个页面而已，我的例子：

from google.appengine.ext import webapp
from google.appengine.ext.webapp import util
from google.appengine.ext import db
from google.appengine.api.labs import taskqueue
class MobilePhone(db.Model):
    Number = db.StringProperty()
    Area = db.StringProperty()
    BrandType = db.StringProperty()
class Delete(webapp.RequestHandler):
    def get(self):
        q = db.GqlQuery("SELECT * FROM MobilePhone limit 100")
        results = q.fetch(100)
        db.delete(results)
        q = db.GqlQuery("SELECT * FROM MobilePhone limit 100")
        if (q.count() > 0):
            self.addqueue()
        self.response.out.write('Hello world!')
    def addqueue(self):
        taskurl = 'http://ip-and-mp.appspot.com/'
        taskqueue.add( url='/del', params=dict(url=taskurl))
        self.response.out.write('added!')

每次删除100行，使用默认的default queue，即每秒一次。

4.关于命令行的问题

我按照中文文档的办法始终有问题，添加了–email=xxxx –passin的参数才成功。手册已经远远落后了。

GAE对于很多人来说只不过是当作撑杆来翻墙的。其实不管从哪个方面来说，GAE的理念就是一个搭载了Java或Python页面框架的虚拟主机，而且支持一大堆的扩展（google wave上的机器人）。借助了Microblog，我在GAE上架设了本站的镜像站点。

相对来说Google提供的SDK目前只能说是一个上传工具而已。很多功能，例如Xmpp，数据存储还没有办法完全模拟，只有页面框架和Memcache还算能用。相信google也会不断的加以完善。

说起Microblog，首先是一个不错的CMS系统。但可能是版本较低，加之GAE程序的调试比较麻烦，功能和结构上只能实现简单的blog功能。相比现成的blog空间反而麻烦不少。相信随着逐步的升级，这个系统将成为一个优秀的CMS。
想用Wordpress的导出工具直接生成一个新站，发现此功能还有问题，至少本站无法成功。于是只能顺手写一个扩展实现两地同步，尽管问题也不少。

说起Python，个人觉得是一个效率很高的语言，缺点就是产生这高效率的扩展太多，太混乱，初学起来很迷糊。顺手之后你就会觉得它作为高级语言，可以操纵的资源丰富的惊人。不过在此插一句，python3的转变真是太突兀了，大部分2.6之前的代码都要重新写过，对于GAE的目标环境还是用2.6以下搭建吧。

遥想10年前我刚开始用手机，6毛钱一个电话，不分打进打出，一律6毛。每个月电话费用只有区区10块左右。如今，免费接听，0.11每分钟，16元成了“最低消费”这怎么能够称得上是减低了成本呢？

原本觉得有了互联网，有了IP长途，有了e-mail，有了IM，电话费用会大大降低， 事实却总是相反。以为用了电脑办公，就可以实现无纸化，然而被用掉的纸却在打印机前成了山。电视机从“黑色家电”变成了“白色家电”。电脑从几万块跌倒几千块，眼看就要跌倒几百块了，数量上升的同时折旧寿命也降到了1年。手机的更新也从几年跌倒几个月，纵然部分手机的价钱还不及月租费用高。

种种结果表明一旦某样东西跌价之后，意味着它的盈利渠道已经排除了商品本身，也就意味着你将会为此花费更多的钱。商业的进步表现如斯。

反复检查代码，无果。将文件上传到另外一台机器后IE也正常。反复修改KeepAlive，disk-cache之类的设置，完全没有效果。

真是叫人郁闷。

检查了apache的配置，感觉问题应该跟mod_deflate模块有关，相应的代码如下：

    <IfModule deflate_module>
        SetOutputFilter DEFLATE
        BrowserMatch ^Mozilla/4 gzip-only-text/html
        BrowserMatch ^Mozilla/4\.0[678] no-gzip
        BrowserMatch \bMSIE !no-gzip !gzip-only-text/html
        SetEnvIfNoCase Request_URI \
                \.(?:gif|jpe?g|png)$ no-gzip dont-vary
    </IfModule>

关闭后IE恢复正常，考虑到一般情况下，mp3和swf压缩不了多少，但是却经常需要断点续传，重新修改相应配置：

    <IfModule deflate_module>
        SetOutputFilter DEFLATE
        BrowserMatch ^Mozilla/4 gzip-only-text/html
        BrowserMatch ^Mozilla/4\.0[678] no-gzip
        BrowserMatch \bMSIE !no-gzip !gzip-only-text/html
        SetEnvIfNoCase Request_URI \
                \.(?:gif|jpe?g|mp3|swf|png)$ no-gzip dont-vary
    </IfModule>

完全正常！

分析下来大致原理如下（个人分析，无依据）：
首先假设的是我没有踩中任何一个bug。这个问题似乎跟原先出现过deflate的文件不能断点续传为同一个问题。

mp3采用流格式传输，没有完全下载结束就被暂停下载，由于系统启用了mod_deflat的压缩传输模块，本地保存的实际上是一个gzip过的mp3文件。

由于目前主流浏览器都支持断点续传，而对于断点续传的处理却各有不同，IE和chromium可能会先对于gzip之前的文件进行校验，发觉校验失败，认为这是一个错误的文件，不再进行续传；FF则是先不进行校验，或者校验失败后重新下载续传。

尚为猜测，希望各位朋友给个确凿的解释。

先列举下近几年google的相关事件：

• 发布Gmail等一系列web2.0工具“套牢用户”，其中google资讯，google reader很是得到大家的欢迎。
• 发布购物和网上支付平台。
• 收购Youtube，blogspot等在线个人应用，或者可以理解为“个人信息发布系统”
• 发布google操作系统，包括手机和台式机的。引入实时在线操作系统概念。
• 与Linux系统分道扬镳，Linux社团从代码库中踢出Android相关代码。
• 宣布要推千兆光纤入户，计划成为网络运营商。
• 高姿态宣布退出中国市场——其实大多说情况下只是将.cn换成了.hk。
• ……

据说，互联网上近30%的流量来自于google。google的成功毫无疑问，成功到了一个网站想要推广就必须要SEO为止。这样，google自己Don’t be evil的座右铭确实是必要的。但恰恰相反的是，从一个竹筏成长到航空母舰的过程中，如何定义EVIL却是无从说起。即便说起过，OK也没问题。他们也曾经承诺过中国政府一直进行内容审查的。

和Google不存在所谓长期的“合作”，与Google合作的结果无非是这样，要么被收购，比如Youtube；要么被套牢，正如你我这样的普通用户；要么分道扬镳，正如Android之于Linux。我好奇的是为什么从来就没有人诉google垄断？同比微软，已经几次到了被拆分的地步。看过Google的产品——不管是什么。你就会逐步形成一种想法，首先是：这东西是Google搞出来的，不错！接下来是，Google真强大，牛！这些天恐怕很多朋友担心的却变成了，Google离开了，我的gmail，我的手机，我的电脑，我投的关键字广告还能用吗？或者索性成了，为了我的设备不出问题，不能让google走！

Google早就不是一个虚拟的帝国，它已经成了一个真实的帝国。不同的是，帝国的臣民们自己还不知道。也许你不敢相信，我们几乎每天都要为这个帝国缴纳税收——只要你上网。帝国一旦建立，首要任务是建立意识导向（正如传统上的皇帝的神化），这个可以在“相关度”这类看似完全技术层面的掩盖下实现。第二步就是摧毁一起存在的和可能存在的敌人，比如阻挡他执行前一任务的任何力量。

这次退出事件，不同于以往Yahoo和ebay的低调——他们是经营性的退出，Google利用了一切可用的手段告知全中国的用户：“我是好人，是来帮助你们的！你们的政府在阻止你们获取信息，……，我现在忍无可忍了！”
一个企业成长到这个级别已经早就无所谓什么国界了，只要不去杀人放火就没有什么事情可以限制的。Google经营的不是一家公司，他们已经从前期的经营一个真实的帝国做起，直到经营起了一种意识形态。今天莫名其妙与中国政府闹翻只是从另一个层面上体现一下自己的经营成果。正如它一开始莫名其妙的说要进入中国市场一样。没准从那天起就准备好了这一天！

如果说Gmail的攻击确实来自国内的情报机构。那么如果美国的情报机构需要获得美国本土或者海外的某个“恐怖分子”的邮件而“非法进入”Gmail，Google是否也会退出美国市场？我实在不能相信这样的事情没有发生过。哦，应该不需要“非法进入”，听说google已经和中情局开展合作了！精通于商业运作的google高层没有理由会将商业利益和国家意志混为一谈。这也难怪为什么1月15日那场听证会上会有美国军方和情报机构的身影。

今年不是1840，更不是1900，没有google寻求的“治外法权”！

PS：不管这篇博文是否能够见诸google，都体现了google的意志。

如今尘埃落定，www.sun.com 也已经被重定向到了www.oracle.com 。至少局外人看来，两家公司已经合并，而且至少不是失败的。

也就是在今天，得知oracle放出消息：今后Solaris不再免费提供，下载版本只提供90天的试用。如果使用，请买授权！

从个人角度上来说，我当然希望是提前一天庆祝了明天的节日。但事实上这并非是空穴来风。

Sun是一家技术公司，需要推广自己的产品。免费派送操作系统提升Sun硬件产品、Java，这种方式是明智的选择。但相对比较商业化一点的Oracle则认为Solaris只是一个众多产品线上其中的一环，并没有Sun之前认为的那种“中心化”地位——他们的中心是Oracle数据库。而且Oracle已经在用类似的方式进行了推广。或者至少说明Oracle认为没有必要同时免费派发这么多软件。

接下去，可能Solaris会被逐步边缘化，代码逐步合并到了Oracle Linux中——由于Linux遵循GPL，这样有可能出现Solaris和Linux的大混血。原本仅属于Sun Solaris的种种优势将会完全移植到Linux，这会Linux社区的幸运。或者出现完全相反的状况，Oracle Linux被边缘化，Solaris取代了它的地位。这样反而成为Linux的不幸，这是又一家大的商业公司的倒戈。

不管出现什么状况，最不幸的永远是opensolaris项目。要么会尾随Solaris退去光环，要么完全沦为小白鼠，一蹶不振，就如同Redhat之fedora。

那Mysql呢？后果已经“不容乐观”了，提起来伤心，不提也罢。

作为网站运行来说，日志分析是一个很重要的工作。当一个网站的日志到了一定程度，或者一个网站同时有多台服务器的时候，传统的文本日志分析总会遇到瓶颈。

这个时候我就会想起强大的sql语句。看了网上很多人的帖子，都是将日志转成sql语句再导入的，搞得有点复杂。本方案不需要任何多余的软件和操作，一切全是实时、自动，供各位参考。

主机至少需要预安装apache(废话！)和mysql的客户端。如果访问量不大且服务器的资源管够的话可以将mysql装在本地，否则建议一台独立的mysql服务器。

在apache配置文件或者虚拟主机配置文件中面添加

LogFormat INSERT INTO apacheLog (ID, dateTime, IP, URL, code, referer, userAgent, size, request) VALUES ( NULL , \"%{%Y-%m-%d %H:%M:%S}t\", \"%a\", \"%U\", \"%>s\", \" %{Referer}i\", \"%{User-Agent}i\", %b, %T);" sqlcomm
CustomLog "| /usr/local/Mysql --host=HOST --user=USER --password=PASSWORD --database=LITRIN_NET" sqlcomm

建立数据库apacheLog。

CREATE TABLE ` apacheLog ` (
  `ID` int(11) NOT NULL auto_increment,
  `dateTime` datetime NOT NULL,
  `IP` varchar(15) NOT NULL,
  `URL` varchar(256) NOT NULL,
  `code` varchar(3) NOT NULL,
  `referer` varchar(256) NOT NULL,
  `userAgent` varchar(256) NOT NULL,
  `size` int(11) NOT NULL,
  `request` float NOT NULL,
  PRIMARY KEY  (`ID`),
  KEY `dateTime` (`dateTime`)
) ENGINE=MyISAM AUTO_INCREMENT=1 DEFAULT CHARSET=latin1;
SET character_set_client = @saved_cs_client;

 确认无误后重启apache生效！

其实整个流程很简单：先是利用LogFormat设置将日志转换为接近sql的格式，再通过CustomLog 调用pipe实现mysql写入。你也可以参照http://httpd.apache.org/docs/2.2/mod/mod_log_config.html#formats的格式设置写入自己关心的数据。
此外，你也可以使用SetEnvIf配合正则表达式过滤掉诸如图片、CSS、JS之类相对不重要的信息。

且说这天需要重启，重启后无法通过ssh连接，通过串口终端连上之后发觉由于之前习惯于ssh key登录，一直没有root密码。郁闷中。

这台机器，一没有显卡，二没有光驱。实在让人头疼。七手八脚的把自己本本的光驱拆下来装在机器上，又发觉是自动硬盘启动的那种，无法光驱启动。

获得OK提示符

获得OK，相对比较容易，只是一般的键盘不是sun专用，没有那一堆控制键。
进入串口终端，启动机器并载入操作系统之后，在终端输入 #. 进入SC，运气不错，SC没有密码。输入break，再console回来就获得了Ok提示符。

获取root密码

进入OK后，放入solaris for sparc的盘，输入boot cdrom -s 进入修复系统。中间有一段比较漫长的等待。
进入系统后将硬盘 /dev/dsk/c1t0d0s0 挂装好之后找到硬盘上的etc/shadow。
将第一行的root:xxxxxxxxxxxx:14302:::::: 修改为root::14302::::::
重新启动后用空密码就可以直接登系统。

SVCS问题

进入系统后，发现一大堆SVC服务无法启动，所有的问题都来自于一个关键应用 system-filesystem-local:default 无法正常启动。
tail /var/svc/log/system-filesystem-local:default.log 发觉有如下报错：WARNING: /sbin/mountall -l failed: exit status 1

不解，但既然是mount的问题，肯定和/etc/vfstab有关。打开这个文件，顿时就傻了——最后一行：
/dev/dsk/c1t0d0s0       /dev/rdsk/c1t0d0s0      /       ufs     1       no
…….
/dev/dsk/c1t3d0s0  /dev/rdsk/c1t3d0s0  /backup  ufs  0  yes  rw
系统将/backup的挂装顺序设置为了0，/为1。这意味着系统默认会先挂/backup，后挂/。摆明了肯定会错。注释掉/backup这一行，问题解决！

分析

问题出的无厘头。
原来之前曾经对这个机器添加过硬盘，当时通过webmin直接修改的vfstab，webmin的一个bug导致了vfstab的错误。只是之前从未重启，也没暴露出来。
没有root密码也是因为一直没有暴露出这个交接不清的问题。

Webmin BUG ->硬盘挂装出错->fs关键服务不能启动->网络不启动->ssh不启动->无密码不能登入->需要OK提示符纠结~~~~

很多企业对互联网的访问进行了限制，如何突破防火墙的限制成了一个问题。本文就是利用了SSH tunnel搭建了socket5代理。

首先，申请一个外网的ssh帐户，个人建议使用http://www.unix-center.net/提供的免费资源，该网站还提供多种平台主机可供测试之用，非常不错！当然，如果可以使用密钥方式登录那就完美了。

申请好账户之后，依然在本地安装ssh的客户端，windows推荐putty。

安装好后执行putty，在hostname里面输入主机名，或者用户名@主机名。我选了FreeBSD的那台，有兴趣的话还有ubuntu，Sun，甚至龙芯一系列主机可供挑选

Putty 主界面

选择ssh->tunnels，在source栏里添加你要提供的端口号，一般随便填一个未使用的端口就可，我用了8080端口。选择Dynamic，点击add。这里需要说明的是，如果你的主机允许别人使用的话，请勾选最上面的Local ports accept connection from other hosts。

Putty ssh tunnel界面

点击Open确认连接，在接下来的窗口中输入用户名和密码。最小化窗口，不要关闭。

打开命令行，输入命令netstat -an，如果出现了你刚才输入的那个端口号的侦听，说明搭建成功！socket服务已经完成。

netstat -an

浏览器设置，IE:internet选项，连接，局域网设置，勾选“为LAN使用代理服务器”，高级，套接字选择127.0.0.1并填写端口号。完成设置。

IE 设置

对应的命令行：

1. plink : plink -C -N -f -D 端口号 用户名@主机名
2. ssh: ssh  -C -N -f -D 端口号 用户名@主机名

PS:
话两头说，如果你负责一个企业局域网的话，稍大点的企业如果要限网，SSH端口是绝对要加以限制使用的。伟大的防火墙亦是如此。

故名思义，tunnel就是在邮件服务器和企业防火墙之后设置一条逻辑上的隧道。这条隧道一方面为了数据安全，另一方面，由于ssh的压缩功能也能在一定程度上减少邮件这类纯文本传输的网络需求。

先决条件：

1. Unix like的邮件系统，并安装了ssh-server，本例中假定邮件服务器ip为1.2.3.4
2. 企业路由器和内网：路由最好有vpn和防火墙功能。
3. 内网的 一台主机，配置不必太高（我用了虚拟机，64M内存已经足够近百人使用），安装有ssh-client，如果是win主机，推荐使用putty的安装版本。经过测试，个人觉得FreeBSD下的性能较好。考虑到安全，这台主机尽量不要安装远程控制台并尽可能上锁。本例假定ip 192.168.1.1。
4. 注意整个系统的安全策略，账户策略等，相比中间人攻击这样的“高级”黑客行为，破解密码，利用漏洞永远是成本最低的方法。

SSH隧道实现安全Mail系统示意

第一步：设置公钥方式登录：

内网主机上运行mkdir -p ~/.ssh;cd ~/.ssh;ssh-keygen –d，如果变态一点可以使用ssh-keygen -b 4096 -d增加强度，之后 不要输入任何信息，一律回车带过，很多人不能实现ssh的无验证通过，大多是因为这里没有弄好。这样~/.ssh目录下将会出现id_dsa 和id_dsa.pub两个文件。

将内网主机的id_dsa.pub文件拷贝邮件服务器，并在邮件服务器上执行cat id_dsa.pub >> ~/.ssh/authorized_keys 。尝试在内网主机上执行 ssh A主机的IP ，成功地话应该没有提示密码（即直接得到A主机的控制台）。

如果经常来小站做客的朋友会觉得这段很熟，没错它贴自这里，如果你用了windows作为内网主机，请参考这里的内容。

第二步：配置管道：

#!/bin/sh
localIP='192.168.1.1'
removteIP='1.2.3.4'
ports='25 80 110' #3个端口，smtp http pop3
for port in $ports
do
    /usr/bin/ssh -C -N -f -L $localIP:$port:$removteIP:$port root@$removteIP  &
done
chmod 755 /usr/sbin/ssh_tunnel

修改rc.local文件，在其中加入 /usr/sbin/ssh_tunnel，当然要放在exit那条之前。

windows不是很熟，写个笨蛋批处理吧ssh_tunnel.cmd

start /min cmd /c 'C:\Program Files\PuTTY\plink.exe' -C -N -f -L 192.168.1.1:25:1.2.3.4:25 root@1.2.3.4
start /min cmd /c 'C:\Program Files\PuTTY\plink.exe' -C -N -f -L 192.168.1.1:80:1.2.3.4:80 root@1.2.3.4
start /min cmd /c 'C:\Program Files\PuTTY\plink.exe' -C -N -f -L 192.168.1.1:110:1.2.3.4:110 root@1.2.3.4

其实putty的那个plink效果完全等同于ssh，当然，win下面主要是用里面的窗口程序，大多数人不怎么用而已。win下比较烦的是每次重起后都要手工加载key，执行这个批处理。希望对win熟的朋友可以提供自动解决方法。

第三步：设置邮件服务器防火墙

通过邮件服务的防火墙关闭除25和22之外的所有端口。这样做是最安全的，但这样的后果是在企业局域网之外只能发不能收邮件。VPN是比较好的折中方案。当然，如果你的邮件系统只需要内部收发邮件（那还要什么邮件系统？），你尽可以连25号也封上。

第四步：设置本地邮件客户端

将局域网内所有邮件客户端的smtp和pop都设置为192.168.1.1即可。我这里由于用了webmail，webmail同样也通过192.168.1.1访问
如果企业有自己的DNS服务器，甚至整个公司都在域管理模式之下。不妨通过本地的DNS服务器用本地IP覆盖掉外网真实IP。这样即便没有vpn，只要不封邮件服务器的110端口，在邮件客户端中设置域名，对用户来说在任何地方都是透明的。

总结：

• 这种模式，从邮件服务器到企业局域网内的传输是加密透明的，外部很难窃取，如果定期为两边的ssh更换强化的秘钥，效果几乎可以达到变态的要求。据说4096位的秘钥的破解成本已经到了天文数字。
• 这种方式相对成本较低，不需要太多的投入，特别是在多个分支机构之间成本优势更加突出。本想通过smtp的tls和pop的SSL进行加密，可outlook下对没有根秘证书签名的秘钥会弹出讨厌的警告框，反而增加了用户的不安。申请根证书的签名价格也不菲。
• 由于企业的邮件系统最多的邮件往往来自于内部，这种方式可以减少差不多一半以上的互联网带宽。把带宽留给更重要的应用。
• 同理，利用此种方式可以实现其他多种安全方案，达到双宿主机或者多机虚拟的效果，进而可以为企业节约宝贵的外网IP资源。

例行手续，很多单据，领来了这么一个东西，华为的终端，配188的TD号，东西是不错。大概考虑到成本，电池容量做的出奇的小，待机时间很短，随预估成本不足100元，还算值。
套餐也不错，只要不把那个比普通电话还要大的玩意当手机拿来拿去，每月10块，6分钱一分钟。

不由的感叹：传说中的3G已经被移动这孩子糟成这样了。

一年前发的3G牌照，移动发到最差一张牌，TD；联通抽到了大怪WCDMA，会哭的孩子有奶吃；电信乖乖的领了CDMA2000，不是很好，尽管后续表现不差。

TD-SCDMA，国家安全战略的产物，一直苦于终端问题，也只有移动这样的怪兽级服务商才能搞的掂。好在作为交换，TD-SCDMA一直享受各种各样的补贴——“无线固话”就是这么一个奇怪的产物。移动似乎深知自己的短板所在，于是利用这低廉的成本，将3G概念搞烂，让所有人觉得3G是廉价货。同时加紧了4G的测试，只要熬过这段时间，很有可能移动将成为第一个提供4G的接入商，先入为主终端问题迎刃而解。顺顺利利的跳过3G直接上马4G，又可以将所有对手抛在“廉价货”的陷阱里。

我本想换联通的wcdma，全球无缝漫游，无奈需要换号，这正是联通最大的难题。最成熟、最低廉的3G解决方案，终端最多，一切都有章可循。只可惜这扶不起的阿斗一直在绕这个“网络怪圈”。当初联通失误，GSM没有成熟的网络就大量扩展市场，导致了知道现在依然存在信号差的问题。wo 3G明显针对的是年轻用户以及高收入地区人群。只要能够在资费上适当下降，很有前途。如果有一天允许携号转网，前途不可估量。前提是网络足够好，又绕回来了。

电信，始终老老实实的将目标定位为低端，搞固话绑定。策略注定了市场最终会受限，但至少现在来说属他在3G市场中最具杀伤力，但同样也存在换号的问题。

移动已经在事实上绑架了我们。不妨买点中国联通的股票，这样的话，移动搞出了4G，你的号码就升值了，可喜可贺，Wcdma战胜td，有的钱赚，可喜可贺！

要玩3G？等吧，移动4G、携号转网、或者联通网络质的提升、或者……CDMA2000成为中国3G的事实标准。貌似哪一个都可望不可及。好在现在3G除了资费称不上便宜，而且www之外没有一个应用足够吸引人，www本身又不是for 3G only。

这次在virtual server上安装ubuntu 804 server，每次跳出启动选项之后，选择好语言之后，启动安装程序，虚拟机马上重启。一开始以为是ACPI的问题，关闭了acpi之后，故障依旧。久而久之发现问题的规律是只会出现在成功启用了“硬件辅助虚拟化功能”的虚拟机上。 

多次失败之后，找到了解决方法： 

1. 利用光盘启动好之后，选择好语言之后，进入Ubuntu的启动选项界面。
2. 如果您安装的是desktop版本，按F4键，选择“安全图形模式”。Server版本直接跳过这一步。
3. 按F6，修改启动参数，原版本为 ‘XXXXXX quiet splash –’ ，删除掉后面的 ‘–’ ，当然，你也可以直接删除quiet splash跳过飞溅界面。添加 vga=791 noreplace-paravirt ，直接按回车启动。
4. 完成安装。
5. 第一次启动载入grub时，直接esc编辑grub 设置，将kenerl那一行的末尾同样加上vga=791 noreplace-paravirt ，按b键启动。

ms virtual server 安装 ubuntu Linux

这种方法似乎也支持Fedora一类的Linux。 

noreplace-paravirt这个模块，网络上解释的很少。根据字面分析大致是一旦启用了硬件虚拟化支持以后，内核的一部分机器码将会被替换，强制操作系统关闭这个功能之后，系统才能正常启动。

PS:关于vga=791的解释

vga的模式分为如下几种，以及相互对应的数字标识

16 進位表示:

pixel	640×480	800×600	1024×768	1280×1024
text	80×30	100×37	128×48	160×64
256	0×301	0×303	0×305	0×307
32k	0×310	0×313	0×316	0×319
64k	0×311	0×314	0×317	0x31A
16M	0×312	0×315	0×318	0x31B

10 進位表示:

pixel	640×480	800×600	1024×768	1280×1024
text	80×30	100×37	128×48	160×64
256	769	771	773	775
32k	784	787	790	793
64k	785	788	791	794
16M	786	789	792	795

从GIMP本身说起，这是一个很强大的图片编辑软件，很多功能已经达到或者超过了昂贵的Photoshop。曾经用它处理过几次图片，效果也很让我满意。但作为Linux桌面版必备的软件，它的利用率可能是最低的了——有太多太多的软件可以替代它的位置，而且不同于OpenOffice，你无法要求每一个Linux用户都修改图片，或者已经被PS浸染的人回过头来用这个甚至买不到一本参考书的GIMP。

就像windows这个系统始终被诟病的捆绑，捆绑的仅仅是几乎人人都会用到的浏览器而已，甚至稍微常用点的MS office都不在捆绑之列。如果有一天windows将他们的Virtual Studio绑进操作系统，那会是多么滑稽的事。

Linux的开发者目前存在的最大问题似乎就在这里，对最终受众的技能要求过高。我也曾见过论坛上新手问诸如文本编辑器之类的问题，却被老手们“强迫”使用vi这类巨复杂的工具来实现。仿佛只有把事情搞的复杂了，搞的小众了才能显示出“老手”的能耐。计算机作为机器最终是要为人服务的，没有必要为了更好的为机器服务一次让人去学他们本身就不感兴趣的东西。

想起当初redhat曾经在自带游戏里边放置了一个叫做x-bill的游戏。这个游戏主要的内容似乎是和一个虚拟的Bill先生抢占PC，Bill先生会在每台机器上做一个windows标记，你的任务就是做企鹅标记，并把windows标记的PC扔进垃圾桶。说实在的这个游戏确实很无趣，但这个游戏本身的设计到被选入Redhat发行包的整个过程都代表了很多Linuxer的理念。可惜的是，你不能要求每一个用户都参与到这个游戏中，不能仅仅依靠一腔热情的完成这个游戏。

只有包容所有受众的、不令人望而生畏的操作系统才是最好的。为GIMP的退居二线而叫好！

oracle官方建议的linux仅限于Redhat, Suse, Asianux以及oracle自家的linux。但作为测试的一部分，我选择了ubuntu的新版本910 AMD64 server作为平台。不过理论上使用ubuntu Desktop或者Xubuntu更省力一点。系统内存为8G，根据建议（如下），设置了8G的swap。

之前还有一篇solaris下10up2的安装可以参考

安装完毕后还是个人习惯性的那一套：
#sudo apt-get update
#sudo apt-get upgrade

升级结束后安装必要的库：
#sudo apt-get install gnome-core unzip build-essential libaio-dev(ms libaio 就可以)

设置环境变量：
修改/etc/bash.bashrc，在末尾添加如下内容
ORACLE_HOME=/opt/oracle/product/11.2.0/Db_1
export ORACLE_HOME
ORACLE_BASE=/opt/oracle
export ORACLE_BASE
NLS_LANG=american_america.zhs16gbk
export NLS_LANG
PATH=$PATH:$ORACLE_HOME/bin
ORACLE_SID=orcl
export ORACLE_SID

修改内核参数：（官方文档没有提及，保险起见，还是添加了）

fs.file-max = 6815744
fs.aio-max-nr = 1048576
kernel.shmall = 2097152
kernel.shmmax = 2147483648
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576


重起机器。