亚洲欧美日本韩国,亚洲愉拍一区二区三区,亚洲va久久久久

Tue, 05 Jun 2012 08:47:00 GMT

1. 起因�Q?随着twitter sina微博�Q�腾讯微博的开攑��^台相�l�推�? 大部分和互联�|�相关的公司又多了一个营销的手�D�：(x��)信息同步。也��x��用户把自��q��新浪微博账号或者腾讯微博�̎号和你的�|�站兌��h��了，用户在你的网站��生的 ��M��信息都可以同步发送到sina微博�Q�qq微博上去�Q�前提是�l�过用户的允许，�q�样用户既可以不需要同��L(f��ng)��信息复制到多个网站，又可以相应的推广你的�|�站的入口曝光率�Q�。目前同步比较好的例子是�Q�微博通，街旁�Q�切客等�?br />
2. ��Z��么要用缓冲队列服务，我们举个例子。如果你做了一个网站，用户在你的网站上兌��了sina微博�Q�QQ微博�Q�开心网�Q��h人网�Q? 豆瓣�Q�twitter, facebook�Q�可能还要在国外讄��代理�Q�等�{�第三方�q�_��Q�用户��生了一个动作后�Q�比如发了一条心情状态）�Q�你的网站要同时同步到这些网站去�Q�每个第�? 方��^台都要经�q�多�ơ外�|�http��h��Q�所有的�q�些��h��加�v来是可能是很长的旉��(几秒�Q? 甚至几十�U?�Q�这对于前段用户肯定肯定是无法忍受的。所以这个时候同步信息的话必��采取异步的方式�Q�也��是用户在你的网站发表一个状态服务端只是把这条状体对应的信息存储��h��Q?然后��提�C�用户发表成功，具体的信息同步是后端以脚本的方式异步�q�行的。用户通俗的话来说��是用户先发表后同步�Q�由于校本执行速度很快�Q? 用户几乎感觉不出来同步的旉��差。你也许�?x��)问我怎么知道哪些信息要同步到�W�三方��^台去呢，�q�也��是使用redis使用�~�冲队列服务器的原因�Q�当用户发表�? 息后�Q�我们同事把信息写入�~�冲队列服务器，后台脚本�?x��)不停的��L��查缓冲队列服务器是否有数据，如果有数据则取出发送到�W�三方开攑��^台�?/p>

3. �pȝ��扩展�?br /> a). 如果脚本处理�q�慢�Q�可能造成�~�冲队列拥堵�Q�我们可能通过扩展后台脚本个数来加快同步到�W�三方��^台的处理速度�?br /> b). 如果需要同步的信息量过�? 造成写入队列的�ƈ发数极大�Q�肯能通过扩展队列服务来达到分散减压的目的(基本不会(x��)出现)�?/p>

5. 效率如何假设你的�|�站每天产生100W条信�?需要同步到�W�三方��^台�?br /> redis官方��试数据�Q�SET操作每秒�?110000 �ơ，GET操作每秒�?81000 �ơ）�?br /> 一个脚本每天的同步�? 86400/2 = 43200, (假设�q�_��每同步一条信息花�Ҏ(gu��)��间�ؓ(f��)2s�Q? 一个脚本每天大概可以同�?W条数据�?br /> �q�_��每秒同步的数�?100W/86400 < 12�?高峰时期扩大十倍也��是每秒 120条信息。由此可见每�?00W 甚至 1000W的信息同步量对redis来说都是没有��M��压力的�?br /> 我们只需要加快脚本处理的速度卛_��Q?100W数据只需要同�?5个脚本负责同步即可，�Q�数据量增加了，扩展��h��非常斚w��Q��?/p>

�ȝ��Q�此方式已经应用于国内某LBS�C�֌��Q�每天的PV大概300W�Q��生的信息同步量每天大�?W左右。当前是2个脚本负责同步相��x��作，队列里面基本没有��M��拥堵信息�?/p>

都市淘沙�?/a> 2012-06-05 16:47 发表评论

��MySQL数据映射到Memcached

Mon, 17 Aug 2009 15:32:00 GMT

作�?张立�?br /> 出处:http://www.libing.name/2009/02/06/mysql-map-data-to-memcachedmysql-map-data-to-memcached.html

差不多在一�q�前�Q�写�q�一��文章介�l?a target="_blank">��MySQL数据映射到Memcached�Q�当时MySQL和Memcached Functions for MySQL都还不够成熟�Q�时�q�一�q�_(d��)��Memcached Functions for MySQL升��C��0.8版本�Q�而MySQL也发布了GA版本�Q�加上很多朋友反应前一��文章中的实��C��们因�U�种原因没能成功�Q�于是便有了�q�篇文章�Q�就当是上一��文章的升��版本吧�?/p>

��试环境在Linux下进行，版本�pȝ��为CentOS5.
以下为相兌��Y�Ӟ��包括其版本和下蝲地址�Q?/p>

mysql-5.1.30 下蝲
memcached-1.2.6 下蝲
libevent-1.4.7-stable 下蝲
memcached_functions_mysql-0.8 下蝲
libmemcached-0.26 下蝲

�~�译安装MySQL,安装因个人细好而定�Q�省略许多与��试无关的编译细节及(qi��ng)参数�?/p>

[root@localhost ~]#tar xzf mysql-5.1.30.tar_001.gz
[root@localhost ~]#cd mysql-5.1.30
[root@localhost ~]#./configure --prefix=/usr/local/mysql51
[root@localhost ~]#make
[root@localhost ~]#make install
[root@localhost ~]#./scripts/mysql_install_db --user=mysql --skip-name-resolve
[root@localhost ~]#/usr/local/mysql51/bin/mysqld_safe

省略列出安装memcached和libevent的相兛_��令，具体可按照实际情况安装，��试时我��libevent默认安装�Q�memcached安装�?usr/local/memcached目录下�?br /> 启动memcached.

/usr/local/memcached/bin/memcached -d -m 50 -u root -p 11211

�~�译安装libmemcache.

[root@localhost ~]#tar xzf libmemcached-0.26.tar.gz
[root@localhost ~]#cd libmemcached-0.26
[root@localhost ~]#./configure --with-memcached=/usr/local/memcached/bin/memcached
[root@localhost ~]# make && make install

�~�译安装Memcache UDFs for MySQL.

[root@localhost ~]# tar xzf memcached_functions_mysql-0.8.tar.gz
[root@localhost ~]# cd memcached_functions_mysql-0.8
[root@localhost ~]# ./configure --with-mysql-config=/usr/local/mysql51/bin/mysql_config
[root@localhost ~]# make && make install

�~�译完成后将�~�译好的库文件复制到mysql的插件目录下�Q�以便于加蝲使用�?/p>

cp /usr/local/lib/libmemcached_functions_mysql* /usr/local/mysql51/lib/mysql/plugin/

�q�入memcached_functions_mysql的源码目录，在目录下有相��x��加UDF的SQL文�g用于初始化�?/p>

[root@localhost ~]# mysql

注：(x��)如果对这些UDFs不熟�(zh��n)�或者不懂，可进行源码目录参�?a target="_blank">README�Q�里�Ҏ(gu��)��相应的说明�?/p>

��x��Q�相兌��Y件的�~�译和安装完成，�q�行��试�Q�我们要辑ֈ�的目的是当MySQL有新记录插入�Ӟ��同时插入到Memcached中，当记录更新时同步更新Memcached中的记录�Q�删除时同时也删除Memcached相关的记录，为此创徏三个触发器来实现�Q�如果对MySQL的触发程序不熟�?zh��n)�可以参考MySQL手册�W?1章，下面SQL中的memcached为需要操作的表名�Q�SQL如下�Q?/p>

#插入数据时插入Memcached
create trigger mysqlmmci after insert on memcached for each row set @tmp = memc_set(NEW.key, NEW.value);
#更新记录时更新Memcached
create trigger mysqlmmcu after update on memcached for each row set @tmp = memc_set(NEW.key, NEW.value);
#删除记录时删除Memcached相应的记�?/span>
create trigger mysqlmmcd before delete on memcached for each row set @tmp = memc_delete(OLD.key);

以下为测试记录，在对MySQL操作的同时操作Memcached来查看情况，当然你也可以在启动Memcached的时候带-vv参数来查看相关信�?

MySQL操作相关的记录：(x��)

[root@localhost ~]#mysql -S /tmp/mysql51.sock 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 6
Server version: 5.1.30 Source distribution
 
Type 'help;' or '\h' for help. Type '\c' to clear the buffer.
 
mysql> use test;
Database changed
 
mysql> create table `memcached` (`key` varchar(10), `value` varchar(100));
Query OK, 0 rows affected (0.00 sec)
 
mysql> create trigger mysqlmmci after insert on memcached for each row set @tmp = memc_set(NEW.key, NEW.value);
Query OK, 0 rows affected (0.00 sec)
 
mysql> create trigger mysqlmmcu after update on memcached for each row set @tmp = memc_set(NEW.key, NEW.value);
Query OK, 0 rows affected (0.00 sec)
 
mysql> create trigger mysqlmmcd before delete on memcached for each row set @tmp = memc_delete(OLD.key);
Query OK, 0 rows affected (0.00 sec)
 
mysql> insert into memcached values("keyi", "valuei"),("keyu","valueu"),("keyd", "valued");
Query OK, 3 rows affected (0.00 sec)
Records: 3  Duplicates: 0  Warnings: 0
 
mysql> update memcached set `value`="update" where `key`="keyu";
Query OK, 1 row affected (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0
 
mysql> delete from memcached where `key`="keyd";
Query OK, 1 row affected (0.00 sec)
 
mysql> quit
Bye

Memcache查看时的记录�Q?/p>

[root@localhost ~]#telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
get keyi
VALUE keyi 0 6
valuei
END
get keyu
VALUE keyu 0 6
valueu
END
get keyd
VALUE keyd 0 6
valued
END
get keyu
VALUE keyu 0 6
update
END
get keyd
END
quit
Connection closed by foreign host.

��x��Q�我们基本实现的��MySQL的数据同步到Memcached中，性能暂时�q�没有测试，当然上面只是��单的实现的数据映��的功能�Q�如果在实现的生产环境中�Q�则需要考虑名字�I�间�Q�高可靠性的问题�Q�这些都是可以通过数据库名-表名-关键字的斚w��能达到KEY唯一的目的，而高可靠性则是一个比较大的问题�?/p>

都市淘沙�?/a> 2009-08-17 23:32 发表评论

memcached 1.2 内存模型�?zhuan)

Wed, 09 Apr 2008 04:47:00 GMT

参考了以下资源�?memcached-1.2.5的源代码�Q�画了一�?a target="_blank">memcached模型图，作�ؓ(f��)下面资源的补充�?br /> slab内存模型的优�?减少��片�Q�速度�?和缺�?有空间浪�?下面的链接里面都有讲�Q�Tim也没有什么新观点�Q�就不重复了�?br />

参考资源：(x��)
Current memcached memory management:
http://lists.danga.com/pipermail/memcached/2003-September/000214.html

LRU淘汰��法只是在每个SLAB内部使用�Q�下面文章说��来版本考虑使用一个全局LRU淘汰��法�?br /> New proposal:
http://lists.danga.com/pipermail/memcached/2003-October/000302.html

�q�有一��网上流传比较多的中文的文章�Q�写得很详细�Q�包括hash��法都有介绍�?a target="_blank">Memcached深度分析

3/8补充�Q?br /> 看到另外一个白板图memcache使用��结,具体内容和我的基本类伹{�?br />

都市淘沙�?/a> 2008-04-09 12:47 发表评论

亚洲欧美日本韩国,亚洲愉拍一区二区三区,亚洲va久久久久

���MySQL数据映射到Memcached

memcached 1.2 内存模型�?zhuan)

��MySQL数据映射到Memcached