Python快速实现分布式任务

深入读了读python的官方文档,发觉Python自带的multiprocessing模块有很多预制的接口可以方便的实现多个主机之间的通讯,进而实现典型的生产者-消费者模式的分布式任务架构。

继续阅读“Python快速实现分布式任务”

推荐阅读:
正值毕业季,这些天一直忙于面试
尽管现在有了wheel这类更为
gearman,学习好莱坞大片

从Python的数据结构说起

正值毕业季,这些天一直忙于面试各个踏出校门的大学生。惯例性的,我会出一些看似很简单,但其实很刁钻的题目,主要是看看面试者的知识是否可以用“扎实”来形容。

对于Python来说,我习惯性的一个问题是“Python常用的dict, list, set数据结构有什么区别?”然后就是设定一个场景看看更适合什么结构实现之类的问题。谈不上是难题,但回答的结果有些大失所望。

继续阅读“从Python的数据结构说起”

推荐阅读:
深入读了读python的官方文
尽管现在有了wheel这类更为
gearman,学习好莱坞大片

Python的egg包

尽管现在有了wheel这类更为“先进”的包装方式,但无可否认的是egg包+easy_install方式是最为热门的Python扩展包安装方式。何况python的意思是“蝰蛇”,蛇的繁殖方式当然应该是蛋(egg)咯!这些天恰巧我正在制作一系列的Python扩展,这里就简单说说如何制作一个自己的egg包。

继续阅读“Python的egg包”

推荐阅读:
深入读了读python的官方文
正值毕业季,这些天一直忙于面试
gearman,学习好莱坞大片

应用框架Gearman

gearman,学习好莱坞大片的翻译方式暂且翻译成“齿轮侠”。是一个“标准的应用程序框架”,它提供了一些列的语言接口,实现了简单方便的跨主机调用、任务分配和伪队列服务。说了这么多,其实我个人的理解就是提供了一套trigger接口,允许一台主机通过业务码执行另一台主机上定义好的任务,而gearman则负责一系列的任务分配和管理。

不同于习惯上的server/client端的称呼,Gearman的角色是server/worker/client。Server正式gearman本身,worker故名思义就是“干活的机器“,client则是发送任务的机器。——貌似Agent/worker/boss更加形象 🙂

继续阅读“应用框架Gearman”

推荐阅读:
似乎每次开头都要讲述一下计算机
5月中旬,我参加了在加利福尼亚
长久以来,我们对计算机资源的理

搭建Openstack集群

算起来Litrin在生产环境中采用虚拟机已经有相当长的历史了——即便当下您所看到的Litrin.net那也是跑在一套KVM虚拟机中。虚拟机的简单灵活、成本低廉是实体机不可比拟的优势,不过作为虚拟机的几个突出问题虚拟机在部署、管理以及较复杂的网络环境的支持上,还是有很多的不便。记得很早之前,Litrin曾经计划通过Openstack来解决这个问题,但当初在被云山雾罩的官方安装手册带着绕了一个多礼拜后无果,只能放弃。

近期,得到一个机会,受高人指点,用最快的方式完成了一整套Openstack的部署。这就有点像游戏的“最速攻略”,只要你一步步追寻着这个手册的内容,绝对保证可以部署成功。但带来另一个问题就是,这是最精简的方法了,只要一个不留神,错过任何一步操作,部署都有可能失败。而且通过这个文档完成的部署,你可能还是无法领悟Openstack的复杂结构。所以,这只能是一个参考,如果需要对你的集群做任何的调整,还需要在此基础上多次自行完成部署。

继续阅读“搭建Openstack集群”

推荐阅读:
自打从硬件方向研究性能优化起,
之前我们通过几个概念简单的介绍

Linux下Python连接MS SQL Server

上次说搞了SQL Server的主备模式,这次就说说用Python连接SQL Server吧。不过这次是全套头的开源解决方案哦。所需环境还是惯用的那一套 :Ubuntu 1204 LTS 64bit.

SQLServer是一款实实在在的商业软件,m$出品,似乎和开源,免费之类的词语搭不上边。但既然有share folder的逆向工程Samba,就一定会有SQLServer的逆向工程。FreeTDS就是这个东西。

继续阅读“Linux下Python连接MS SQL Server”

推荐阅读:
5月中旬,我参加了在加利福尼亚
之前发过一个帖子介绍了RDT在
继续在NUMA和性能差异的路上

关于Python的Object继承

今天在Coding的使用,使用了python的单例模式,发现了一个很有趣的问题。

继续阅读“关于Python的Object继承”

推荐阅读:
深入读了读python的官方文
正值毕业季,这些天一直忙于面试
尽管现在有了wheel这类更为

Python中的对象复制

这次算不上什么技巧分享,只是在碰到了一个bug之后整理的东西,希望各位在看过之后不会在犯同样的错误。

首先,还是用同为解释型语言的PHP开刀:
继续阅读“Python中的对象复制”

推荐阅读:
深入读了读python的官方文
正值毕业季,这些天一直忙于面试
尽管现在有了wheel这类更为

Python实现简单分布式处理

记得在zipsite项目中,对于文本文件本身就没有序列化的问题,但对于富媒体文件的序列化,我采用的方法是pickle。后来我忽然觉得使用pickle是可以实现简单的分布任务处理的。

废话不表,上代码:
继续阅读“Python实现简单分布式处理”

推荐阅读:
深入读了读python的官方文
正值毕业季,这些天一直忙于面试
尽管现在有了wheel这类更为

几种Python C重构的性能差异

C重构,C重构,看的已经有点郁闷了!这次打算收尾了,将几种方法的性能做个横向比较吧,近期不再研究。

相关文章:

 

继续阅读“几种Python C重构的性能差异”

推荐阅读:
深入读了读python的官方文
正值毕业季,这些天一直忙于面试
尽管现在有了wheel这类更为