分类目录归档：运维op

一名分布式存储工程师的技能树是怎样的？

发表评论
分布式存储相关的系统大概分为几种(这里不说分布式计算相关系统)： 1. 分布式文件系统，比如HDFS，Ceph。这些专门存大文件。特别是HDFS大公司标配，不多说。

2. 对象存储，典型的就是Amazon S3，这种系统很多公司自己造给公司内部用，存图片等小文件，接口一般不会兼容Amazon S3，因为不需要，比如淘宝的TFS，基本思路就是将多个小文件合并成大文件存储，经典论文FB的HayStack。这种系统一般读多写少，不需要修改，很少删除，一致性也没那么强，系统相对好做。基本上HDFS+HBase就能搞定一个这种系统，HBase存元数据，利用HDFS的Append功能将小文件合并成大文件。 阅读全文

微服务部署面临哪些挑战？

发表评论
image

以前，我们邀请几位嘉宾讨论了他们在开发微服务时遇到的挑战，比如Fred George或Dustin Huptas和Andreas Schmidt。近日，Usman Ismail参加了一场小组会议，讨论了微服务持续交付面临的挑战，并决定随后详述其中的部分重点内容。他首先讨论了微服务其中一个基本原则的缺点，即允许大型团队通过快速原型和迭代以一种更加敏捷的方式推进（软件）开发： 阅读全文

Hadoop Shell命令

发表评论

FS Shell

调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更简单的/parent/child（假设你配置文件中的默认值是namenode:namenodeport）。大多数FS Shell命令的行为和对应的Unix Shell命令类似，不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr，其他信息输出到stdout。 阅读全文

Linux History记录添加时间戳

发表评论

熟悉bash的都一定知道使用history可以输出你曾经输入过的历史命令，例如 ：
[root@YAN ~]# history | more
6 ./test.sh
7 vim test.sh
8 ./test.sh
但是这里只显示了命令，并没有显示执行命令的时间，因为保存历史命令的~/.bash_history里并没有保存时间。 阅读全文

linux lsof命令详解

发表评论

简介

lsof(list open files)是一个列出当前系统打开文件的工具。在linux环境下，任何事物都以文件的形式存在，通过文件不仅仅可以访问常规数据，还可以访问网络连接和硬件。所以如传输控制协议 (TCP) 和用户数据报协议 (UDP) 套接字等，系统在后台都为该应用程序分配了一个文件描述符，无论这个文件的本质如何，该文件描述符为应用程序与基础操作系统之间的交互提供了通用接口。因为应用程序打开文件的描述符列表提供了大量关于这个应用程序本身的信息，因此通过lsof工具能够查看这个列表对系统监测以及排错将是很有帮助的。 阅读全文