分类目录归档：开发dev

来自 Google 的高可用架构理念与实践

发表评论

孙宇聪，CTO @ coding.net 。2007 – 2015 年初在 Google 的 Moutain View 担任 SRE 职位。 参与了 Google 的两个项目：第一个是 Youtube，工作内容涵盖 Video transfer、Coding、Streaming、Global CDN 等；第二个是 Google Cloud Platform Team，主要工作是管理 Google 全球 100 万台左右的服务器，开发用于管理 Google 整个云平台的任务调度、协作的集群管理系统 Omega 。 阅读全文

Swoole—高性能的异步并发TCP、UDP、WebSocket 服务PHP扩展。

发表评论

Swoole是一个为PHP用C和C++编写的基于事件的高性能异步&协程并行网络通信引擎。设计思路类似nginx（Reactor）+  php-fpm（Worker）。可以创建TCP，Websocket长链接服务，轻松承载上万长连接请求。 阅读全文

code-server—基于VSCode的云端IDE

发表评论

code-server是基于VSCode的开源云端 IDE，可以直接在Linux开发机上启动，通过浏览器进行访问，直接浏览、编辑Linux上的代码。相比基于终端的编辑器(如vim)，code-server功能更强大，支持各种语言的代码理解、跳转、补全、查错、调试等；相比于本地IDE+Samba/Ftp文件同步方式，code-server更加便捷、安全。同时它完整支持VSCode的强大的编辑器功能、丰富的插件生态。 阅读全文

python skimage图像处理

发表评论

skimage即是Scikit-Image。基于python脚本语言开发的数字图片处理包，比如PIL,Pillow, opencv, scikit-image等。 PIL和Pillow只提供最基础的数字图像处理，功能有限；opencv实际上是一个c++库，只是提供了python接口，更新速度非常慢。scikit-image是基于scipy的一款图像处理包，它将图片作为numpy数组进行处理，与matlab一样。 阅读全文

LSM VS B-Tree

发表评论

LSM树整个结构不是有序的，所以不知道数据在什么地方，需要从每个小的有序结构中做二分查询，找到了就返回，找不到就继续找下一个有序结构。所以说LSM牺牲了读性能。但是LSM之所以能够作为大规模数据存储系统在于读性能可以通过其他方式来提高，比如读取性能更多的依赖于内存/缓存命中率而不是磁盘读取。 阅读全文

小猪教你搭建一个ssdb高可用集群

发表评论

概述

ssdb是一个大规模持久化kv存储，类似redis，只是存储介质增加了ssd+sata，适合写入redis数据和qps规模较大，数据读取占比较小，想降低redis内存服务器购买成本，同时使读写性能上损失小些。有朋友公司使用了1T+的ssdb，想实现高可用方案，一直比较忙… 这两天终于有空研究了一下，给一个简单的多主水平分片+主从热备+读写分离代理解决方案。

SSDB

SSDB 是一个 C/C++ 语言开发的高性能 NoSQL 数据库, 支持 KV, list, map(hash), zset(sorted set) 等数据结构, 用来替代或者与 Redis 配合存储十亿级别列表的数据。

特点：

1.底层的LevelDB使用LSM存储引擎，相比与关系数据库的B-Tree，写性能更好，而牺牲了部分的读性能。适合写多读少的场景，或读热key相对集中，缓存命中率较高的场景。

2.LSM树整个结构不是有序的，所以不知道数据在什么地方，需要从每个小的有序结构中做二分查询，找到了就返回，找不到就继续找下一个有序结构。在缓存命中率较低时，磁盘读取性能较差。故单个分片容量不宜过大，否则磁盘读性能不可接受。

github：https://github.com/ideawu/ssdb

SSDB中文手册：http://ssdb.io/zh_cn/

SSDB入门基础：https://github.com/ideawu/ssdb-docs/blob/master/pdf/SSDB%E5%85%A5%E9%97%A8%E5%9F%BA%E7%A1%80.pdf

TwemProxy 阅读全文