分类目录归档:运维op

来自 Google 的高可用架构理念与实践

孙宇聪,CTO @ coding.net 。2007 – 2015 年初在 Google 的 Moutain View 担任 SRE 职位。 参与了 Google 的两个项目:第一个是 Youtube,工作内容涵盖 Video transfer、Coding、Streaming、Global CDN 等;第二个是 Google Cloud Platform Team,主要工作是管理 Google 全球 100 万台左右的服务器,开发用于管理 Google 整个云平台的任务调度、协作的集群管理系统 Omega 。 阅读全文

mac原生ssh支持登陆状态在多个窗口间共享

$ vim ~/.ssh/config 添加以下配置:
Host *
    ControlMaster auto                       #多窗口共享登陆状态
    ControlPath ~/.ssh/%h-%p-%r
    ControlPersist yes                       #登陆状态保留时间,yes表示永久,除非网络断开
    Host mars                                #快捷别名
    hostname mars.com                        #远程机器
    user yanjingang                          #用户名

$ ssh mars #使用别名登陆 

登陆后在新窗口再次运行ssh mars时不用输入密码,会自动登陆

分布式队列编程:模型、实战

point2point

介绍

作为一种基础的抽象数据结构,队列被广泛应用在各类编程中。大数据时代对跨进程、跨机器的通讯提出了更高的要求,和以往相比,分布式队列编程的运用几乎已无处不在。但是,这种常见的基础性的事物往往容易被忽视,使用者往往会忽视两点: 阅读全文

一名分布式存储工程师的技能树是怎样的?

分布式存储相关的系统大概分为几种(这里不说分布式计算相关系统): 1. 分布式文件系统,比如HDFS,Ceph。这些专门存大文件。特别是HDFS大公司标配,不多说。

2. 对象存储,典型的就是Amazon S3,这种系统很多公司自己造给公司内部用,存图片等小文件,接口一般不会兼容Amazon S3,因为不需要,比如淘宝的TFS,基本思路就是将多个小文件合并成大文件存储,经典论文FB的HayStack。这种系统一般读多写少,不需要修改,很少删除,一致性也没那么强,系统相对好做。基本上HDFS+HBase就能搞定一个这种系统,HBase存元数据,利用HDFS的Append功能将小文件合并成大文件。 阅读全文

微服务部署面临哪些挑战?

image

以前,我们邀请几位嘉宾讨论了他们在开发微服务时遇到的挑战,比如Fred George或Dustin Huptas和Andreas Schmidt。近日,Usman Ismail参加了一场小组会议,讨论了微服务持续交付面临的挑战,并决定随后详述其中的部分重点内容。他首先讨论了微服务其中一个基本原则的缺点,即允许大型团队通过快速原型和迭代以一种更加敏捷的方式推进(软件)开发: 阅读全文