<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    paulwong

    為什么使用 Redis及其產品定位

    傳統MySQL+ Memcached架構遇到的問題

    實際MySQL是適合進行海量數據存儲的,通過Memcached將熱點數據加載到cache,加速訪問,很多公司都曾經使用過這樣的架構,但隨著業務數據量的不斷增加,和訪問量的持續增長,我們遇到了很多問題:

    1. MySQL需要不斷進行拆庫拆表,Memcached也需不斷跟著擴容,擴容和維護工作占據大量開發時間。

    2. Memcached與MySQL數據庫數據一致性問題。

    3. Memcached數據命中率低或down機,大量訪問直接穿透到DB,MySQL無法支撐。

    4. 跨機房cache同步問題。

    眾多NoSQL百花齊放,如何選擇

    最近幾年,業界不斷涌現出很多各種各樣的NoSQL產品,那么如何才能正確地使用好這些產品,最大化地發揮其長處,是我們需要深入研究和思考的問 題,實際歸根結底最重要的是了解這些產品的定位,并且了解到每款產品的tradeoffs,在實際應用中做到揚長避短,總體上這些NoSQL主要用于解決 以下幾種問題

    1. 少量數據存儲,高速讀寫訪問。此類產品通過數據全部in-momery 的方式來保證高速訪問,同時提供數據落地的功能,實際這正是Redis最主要的適用場景。

    2. 海量數據存儲,分布式系統支持,數據一致性保證,方便的集群節點添加/刪除。

    3. 這方面最具代表性的是dynamo和bigtable 2篇論文所闡述的思路。前者是一個完全無中心的設計,節點之間通過gossip方式傳遞集群信息,數據保證最終一致性,后者是一個中心化的方案設計,通過 類似一個分布式鎖服務來保證強一致性,數據寫入先寫內存和redo log,然后定期compat歸并到磁盤上,將隨機寫優化為順序寫,提高寫入性能。

    4. Schema free,auto-sharding等。比如目前常見的一些文檔數據庫都是支持schema-free的,直接存儲json格式數據,并且支持auto-sharding等功能,比如mongodb。

    面對這些不同類型的NoSQL產品,我們需要根據我們的業務場景選擇最合適的產品。

            

    Redis適用場景,如何正確的使用

    前面已經分析過,Redis最適合所有數據in-momory的場景,雖然Redis也提供持久化功能,但實際更多的是一個disk-backed 的功能,跟傳統意義上的持久化有比較大的差別,那么可能大家就會有疑問,似乎Redis更像一個加強版的Memcached,那么何時使用 Memcached,何時使用Redis呢?

    Redis與Memcached的比較

    1. 網絡IO模型

    2. Memcached是多線程,非阻塞IO復用的網絡模型,分為監聽主線程和worker子線程,監聽線程監聽網絡連接,接受請求后,將連接 描述字pipe 傳遞給worker線程,進行讀寫IO, 網絡層使用libevent封裝的事件庫,多線程模型可以發揮多核作用,但是引入了cache coherency和鎖的問題,比如,Memcached最常用的stats 命令,實際Memcached所有操作都要對這個全局變量加鎖,進行計數等工作,帶來了性能損耗。

      (Memcached網絡IO模型)

      Redis使用單線程的IO復用模型,自己封裝了一個簡單的AeEvent事件處理框架,主要實現了epoll、kqueue和 select,對于單純只有IO操作來說,單線程可以將速度優勢發揮到最大,但是Redis也提供了一些簡單的計算功能,比如排序、聚合等,對于這些操 作,單線程模型實際會嚴重影響整體吞吐量,CPU計算過程中,整個IO調度都是被阻塞住的。

    3. 內存管理方面

    4. Memcached使用預分配的內存池的方式,使用slab和大小不同的chunk來管理內存,Item根據大小選擇合適的chunk存 儲,內存池的方式可以省去申請/釋放內存的開銷,并且能減小內存碎片產生,但這種方式也會帶來一定程度上的空間浪費,并且在內存仍然有很大空間時,新的數 據也可能會被剔除,原因可以參考Timyang的文章:http://timyang.net/data/Memcached-lru-evictions/

      Redis使用現場申請內存的方式來存儲數據,并且很少使用free-list等方式來優化內存分配,會在一定程度上存在內存碎 片,Redis跟據存儲命令參數,會把帶過期時間的數據單獨存放在一起,并把它們稱為臨時數據,非臨時數據是永遠不會被剔除的,即便物理內存不夠,導致 swap也不會剔除任何非臨時數據(但會嘗試剔除部分臨時數據),這點上Redis更適合作為存儲而不是cache。

    5. 數據一致性問題

    6. Memcached提供了cas命令,可以保證多個并發訪問操作同一份數據的一致性問題。 Redis沒有提供cas 命令,并不能保證這點,不過Redis提供了事務的功能,可以保證一串 命令的原子性,中間不會被任何操作打斷。

    7. 存儲方式及其它方面

    8. Memcached基本只支持簡單的key-value存儲,不支持枚舉,不支持持久化和復制等功能

      Redis除key/value之外,還支持list,set,sorted set,hash等眾多數據結構,提供了KEYS

      進行枚舉操作,但不能在線上使用,如果需要枚舉線上數據,Redis提供了工具可以直接掃描其dump文件,枚舉出所有數據,Redis還同時提供了持久化和復制等功能。

    9. 關于不同語言的客戶端支持

    10. 在不同語言的客戶端方面,Memcached和Redis都有豐富的第三方客戶端可供選擇,不過因為Memcached發展的時間更久一 些,目前看在客戶端支持方面,Memcached的很多客戶端更加成熟穩定,而Redis由于其協議本身就比Memcached復雜,加上作者不斷增加新 的功能等,對應第三方客戶端跟進速度可能會趕不上,有時可能需要自己在第三方客戶端基礎上做些修改才能更好的使用。

    根據以上比較不難看出,當我們不希望數據被踢出,或者需要除key/value之外的更多數據類型時,或者需要落地功能時,使用Redis比使用Memcached更合適。

    關于Redis的一些周邊功能

    Redis除了作為存儲之外還提供了一些其它方面的功能,比如聚合計算、pubsub、scripting等,對于此類功能需要了解其實現原理,清 楚地了解到它的局限性后,才能正確的使用,比如pubsub功能,這個實際是沒有任何持久化支持的,消費方連接閃斷或重連之間過來的消息是會全部丟失的, 又比如聚合計算和scripting等功能受Redis單線程模型所限,是不可能達到很高的吞吐量的,需要謹慎使用。

    總的來說Redis作者是一位非常勤奮的開發者,可以經常看到作者在嘗試著各種不同的新鮮想法和思路,針對這些方面的功能就要求我們需要深入了解后再使用。

    總結:

    1. Redis使用最佳方式是全部數據in-memory。

    2. Redis更多場景是作為Memcached的替代者來使用。

    3. 當需要除key/value之外的更多數據類型支持時,使用Redis更合適。

    4. 當存儲的數據不能被剔除時,使用Redis更合適。

    后續關于Redis文章計劃:

    1. Redis數據類型與容量規劃。

    2. 如何根據業務場景搭建穩定,可靠,可擴展的Redis集群。

    3. Redis參數,代碼優化及二次開發基礎實踐。

    關于作者

    田琪,目前負責新浪微博平臺底層架構與研發工作,之前曾擔任搜狐白社會實時游戲平臺核心架構工作,主要關注webgame, 分布式存儲,nosql 和 erlang 等領域,目前主要從事mysql源代碼的一些深入研究工作,浪微博:http://weibo.com/bachmozart

    posted on 2014-08-26 09:04 paulwong 閱讀(454) 評論(0)  編輯  收藏 所屬分類: REDIS

    主站蜘蛛池模板: 亚洲综合精品一二三区在线| 国产成人亚洲综合一区| 全免费a级毛片免费看无码| 青柠影视在线观看免费高清| 亚洲欧洲精品成人久久曰| 亚洲AV日韩AV高潮无码专区| 亚洲国产高清在线一区二区三区| 国产在线观看免费观看不卡| 两个人看的www免费视频中文| 久久久久久亚洲av无码蜜芽| 亚洲国产成人久久精品app | 亚洲另类激情综合偷自拍| 可以免费观看的一级毛片| 欧亚精品一区三区免费| 亚欧日韩毛片在线看免费网站| 国产精品成人免费观看| 直接进入免费看黄的网站| 亚洲精品国产高清在线观看| 亚洲人成电影在线观看网| 久久亚洲AV成人无码| 亚洲精品高清视频| 久久久久亚洲AV片无码| 国产亚洲精品va在线| 亚洲一区二区三区AV无码| 精品国产人成亚洲区| 亚洲午夜福利精品久久| 亚洲精品A在线观看| 亚洲国产一级在线观看| 免费人成在线观看网站品爱网日本| 免费视频淫片aa毛片| 全免费一级午夜毛片| 免费无码又爽又刺激毛片| 四虎免费大片aⅴ入口| 免费人成视频在线| 青春禁区视频在线观看直播免费| 免费A级毛片无码免费视| 天堂在线免费观看中文版| 日韩免费观看一级毛片看看| 好男人看视频免费2019中文| 日韩视频免费一区二区三区| 国产麻豆免费观看91|