首页 新闻 论坛 群组 Blog 文档 下载 读书 Tag 网摘 搜索 .NET Java 游戏 视频 人才 外包 数据库 第二书店 程序员

zdg/ 


共16个网摘 [ 1 ]   |  访问zdg的个人空间

memcached全面剖析–4. memcached的分布式算法

zdg收录,使用标签:memcached,时间:2008-7-29 18:45:22 | 相关网摘我也收藏

正如第1次中介绍的那样, memcached虽然称为“分布式”缓存服务器,但服务器端并没有“分布式”功能。服务器端仅包括 第2次、 第3次 前坂介绍的内存存储功能,其实现非常简单。至于memcached的分布式,则是完全由客户端程序库实现的。这种分布式是memcached的最大特点。


memcached全面剖析–3.memcached的删除机制和发展方向

zdg收录,使用标签:memcached,时间:2008-7-29 18:44:49 | 相关网摘我也收藏

memcached是缓存,所以数据不会永久保存在服务器上,这是向系统中引入memcached的前提。本次介绍memcached的数据删除机制,以及memcached的最新发展方向——二进制协议(Binary Protocol)和外部引擎支持。


memcached全面剖析–2.理解memcached的内存存储

zdg收录,使用标签:memcached,时间:2008-7-29 18:44:28 | 相关网摘我也收藏

本次将介绍memcached的内部构造的实现方式,以及内存的管理方式。另外,memcached的内部构造导致的弱点也将加以说明。


memcached完全剖析–1. memcached的基础

zdg收录,使用标签:memcached,时间:2008-7-29 18:44:03 | 相关网摘我也收藏

我是mixi株式会社开发部系统运营组的长野。日常负责程序的运营。从今天开始,将分几次针对最近在Web应用的可扩展性领域的热门话题memcached,与我公司开发部研究开发组的前坂一起,说明其内部结构和使用。


Memcached和Velocity

zdg收录,使用标签:Cache, memcached,时间:2008-7-23 18:29:59 | 相关网摘我也收藏

Memcached是比较老牌的一个分布式缓存应用,而Velocity则是微软在TechED 2008上刚刚宣布的分布式缓存应用。Memcached更加通用,而Velocity对于ASP.NET这样的微软平台的技术更加具有无缝兼容和支持。

无论Memcached还是Velocity对ASP.NET Web应用性能都可以有很好的提升和帮忙


StartUp技术交流会:博客大巴 / VeryCD / 客齐集 / 联络家 / CDNUnion

zdg收录,使用标签:memcached, SVN, CDN,时间:2008-5-31 22:44:42 | 相关网摘我也收藏

所有网站都用了Memcached,并通过避免对数据库的连接而大大提高了性能(命中率一般在90%以上);

关于:多memcached的分布策略;
客齐集
规模: 在多台前端应用服务器上划出一定空间,
分布规则:使用的是memcached addserver方式由memcache自己进行缓存分布;
单点失败处理:遇到个别节点中断会retry;
博客大巴和VeryCD应用类似:
规模: 几十G(单个2G);
分布规则:都是自己应用设置设置缓存分布规则,对数据进行分布,
单点失败处理:如果遇到Memcached中断并不尝试其他服务器;

关于memcache的压缩:
PHP客户端可以设置压缩外, server端也有更详细的压缩配置选项(memcached的文档中有?);
关于memcached的扩展性: 最新版本有考虑consistent hash(在扩展服务节点后,旧内容仍然再旧服务器上,不用按重新按新的分布规则生成新缓存)
memcached: bin模式存储;

对于缓存对象:大的List列表页对象用memcache缓存对效率提升很重要;


Facebook 的 PHP 性能与扩展性

zdg收录,使用标签:facebook, Architecture, PHP, memcached,时间:2008-4-14 18:00:28 | 相关网摘我也收藏

Facebook 平均每个用户每天要访问超过 50 个页面,PHP的页面载入时间的优化就比较重要了。在 PHP Cache 层,Facebook 采用了 APC。

Facebook 部署了超过 400 台 Memcached 服务器,超过 5TB 的数据在 Memcached 中。这是当前世界上最大的 Memcached 集群了。也给 Memcached 贡献了不少代码,包括 UDP 的支持和性能上的提升(性能提升超过 20%)。

Facebook 开发人员大量采用 Callgrind 、APD、 xdebug 、KCachegrind 等工具进行基准性能测试。任何一个 Web 项目,这也是不可或缺,也是比较容易忽略的一环。所有开发人员都应该具备熟练使用这些工具的能力才好。


memcache_engine + memcachedb = 高性能分布式内存数据库

zdg收录,使用标签:memcached, 分布式,时间:2008-2-22 19:06:57 | 相关网摘我也收藏

最近一年来,特别是最近一个月以来,围绕memcached的开源项目发展的非常非常活跃:

1、最近刚刚发布了memcached的新的高性能C客户端接口: libmemcached

2、由于有了libmemcached,该组织又发布了memcache_engine存储引擎,cool!

3、由于libmemcached的发布,不到一周时间,ruby的两个崭新的memcache client就问世了,他们是Caffeine和New memcache-client,让ruby访问memcached的速度大幅度提高,请看:libmemcached发布了,ruby访问memcached提速20倍

4、memcachedb发布了,这是中国的互联网公司贡献的开源项目


dbcached──“分布式 key-value 数据库内存缓存系统”发布

zdg收录,使用标签:memcached, DataBase, 分布式, Cache,时间:2008-2-22 19:02:42 | 相关网摘我也收藏

dbcached 1.0 beta* 在 Memcached 1.2.4 的基础上编写而成,也是我的第一个开源C项目。编写 dbcached 的目的是为了最大限度的发挥 Memcached 内存缓存的优势,便捷地维护 Memcached 服务器节点哈希列表,智能地支持 Memcached 故障转移,同时保证数据的持久化存储。


enyim.com Memcached Client

zdg收录,使用标签:memcached,时间:2007-12-26 1:45:30 | 相关网摘我也收藏

Client for Memcached written in .NET 2.0.

Code is released under Microsoft Permissive License.

Not tested thoroughly but it's working for me. If you found bugs or have suggestions feel free to leave a message in the Discussions.


Main features
written for .NET not ported from a different architecture (so uses the framework's features better)
configuration is stored in app/web.config (sample configuration file is included)
uses minimal locking to increase the throughput
uses consistent hashing for keys: a specific item goes to a specific server every time. (based on libketama, http://lists.danga.com/pipermail/memcached/2007-April/003834.html)
keys are hashed using FNV hash, much faster than md5 and have better dispersion than the Object.GetHashCode()
operations are factored into separate classes, so they are more separated from the main client class, easier manageability and thread safety
primitive types (currently some numeric types, bool, DateTime, byte[] and strings, but can be extended) are stored in an optimized form; only Objects are serialized


分布式缓存系统Memcached简介与实践

zdg收录,使用标签:memcached,时间:2007-12-26 1:21:37 | 相关网摘我也收藏

缘起: 在数据驱动的web开发中,经常要重复从数据库中取出相同的数据,这种重复极大的增加了数据库负载。缓存是解决这个问题的好办法。但是ASP.NET中的虽然已经可以实现对页面局部进行缓存,但还是不够灵活。此时Memcached或许是你想要的。


Discuz!的Memcache缓存实现

zdg收录,使用标签:memcached,时间:2007-12-17 18:01:14 | 相关网摘我也收藏

使用Memcache的理由:
1.Web Server(Lighttpd、Nginx据说都比Apache效率高好多,大家可以试用下)对CPU要求高,对内存要求低;而Memcached Server是对CPU要求低,对内存要求高,所以可以搭配使用。在对前端的Web Server上安装Memcached Server是可行的。
2.金钱金钱金钱,最少的付出,获得最大的收益。
3.简单简单简单,对于一个架构合理的系统来说,添加Memcache的支持可能只是一个批量处理文件的过程


高并发高流量网站架构

zdg收录,使用标签:Performance, Architecture, CDN, memcached,时间:2007-10-31 19:01:17 | 相关网摘我也收藏

本文围绕高并发高流量的网站架构设计问题,主要研究讨论了以下内容:

首先在整个网络的高度讨论了使用镜像网站,CDN内容分发网络等技术对负载均衡带来的便利及各自的优缺点比较。然后在局域网层次对第四层交换技术,包括硬件解决方案F5和软件解决方案LVS,进行了简单的讨论。接下来在单服务器层次,本文着重讨论了单台服务器的Socket优化,硬盘级缓存技术,内存级缓存技术,CPU与IO平衡技术(即以运算为主的程序与以数据读写为主的程序搭配部署),读写分离技术等。在应用层,本文介绍了一些大型网站常用的技术,以及选择使用该技术的理由。最后,在架构的高度讨论了网站扩容,容错等问题。


memcached 说明2

zdg收录,使用标签:memcached,时间:2007-10-7 23:08:19 | 相关网摘我也收藏

Memcached是一个服务程序,使用的时候可以根据它的协议,连接到memcached服务器上,发送命令给服务进程,就可以操作上面的数据。为了方 便使用,memcached有很多个客户端程序可以使用,对应于各种语言,有各种语言的客户端。基于C语言的有libmemcache、 APR_Memcache;基于Perl的有Cache::Memcached;另外还有Python、Ruby、Java、C#等语言的支持。PHP的 客户端是最多的,不光有mcache和PECL memcache两个扩展,还有大把的由PHP编写的封装类


memcached 说明1

zdg收录,使用标签:memcached,时间:2007-10-7 23:06:16 | 相关网摘我也收藏

Memcached是“分布式”的内存对象缓存系统,那么就是说,那些不需要“分布”的,不需要共享的,或者干脆规模小到只有一台服务器的应用, memcached不会带来任何好处,相反还会拖慢系统效率,因为网络连接同样需要资源,即使是UNIX本地连接也一样。 在我之前的测试数据中显示,memcached本地读写速度要比直接PHP内存数组慢几十倍,而APC、共享内存方式都和直接数组差不多。可见,如果只是 本地级缓存,使用memcached是非常不划算的。

Memcached在很多时候都是作为数据库前端cache使用的。因为它比数据库少了很多SQL解析、磁盘操作等开销,而且它是使用内存来管理数据的, 所以它可以提供比直接读取数据库更好的性能,在大型系统中,访问同样的数据是很频繁的,memcached可以大大降低数据库压力,使系统执行效率提升。 另外,memcached也经常作为服务器之间数据共享的存储媒介,例如在SSO系统中保存系统单点登陆状态的数据就可以保存在memcached中,被 多个应用共享。

需要注意的是,memcached使用内存管理数据,所以它是易失的,当服务器重启,或者memcached进程中止,数据便会丢失,所以 memcached不能用来持久保存数据。很多人的错误理解,memcached的性能非常好,好到了内存和硬盘的对比程度,其实memcached使用 内存并不会得到成百上千的读写速度提高,它的实际瓶颈在于网络连接,它和使用磁盘的数据库系统相比,好处在于它本身非常“轻”,因为没有过多的开销和直接 的读写方式,它可以轻松应付非常大的数据交换量,所以经常会出现两条千兆网络带宽都满负荷了,memcached进程本身并不占用多少CPU资源的情况。


memcached for Win32

zdg收录,使用标签:memcached,时间:2007-3-26 9:03:38 | 相关网摘我也收藏

The win32 version of memcached can be run both as a NT Service or from the command line.



共16个网摘 [ 1 ] 

zdg/相关标签



网站简介广告服务网站地图帮助联系方式诚聘英才English 问题报告
北京创新乐知广告有限公司 版权所有 京 ICP 证 070598 号
Copyright © 2000-2008, CSDN.NET, All Rights Reserved