日志抓取端:
apache kafka在數據處理中特別是日志和消息的處理上會有很多出色的表現,這里寫個索引,關于kafka的文章暫時就更新到這里,最近利用空閑時間在對kafka做一些功能性增強,并java化,雖然現在已經有很多這樣的版本,但是根據實際需求來改變才是最適合的。
首先當然推薦的是kafka的官網 http://kafka.apache.org/
在官網最值得參考的文章就是kafka design:http://kafka.apache.org/design.html,我的文章也基本都是參照這里的說明,大家要特別重視這篇文章,里面有好多理念都特別好,推薦多讀幾遍。
在OSC的翻譯頻道有kafka design全中文的翻譯,翻得挺好的,推薦一下:http://www.oschina.net/translate/kafka-design
kafka的wiki是很不錯的學習文檔:https://cwiki.apache.org/confluence/display/KAFKA/Index
——————————————————————————————————
接下來就是我寫的一系列文章,文章都是循序漸進的方式帶你了解kafka:
關于kafka的基本知識,分布式的基礎:《分布式消息系統Kafka初步》
kafka的分布式搭建,quick start:《kafka分布式環境搭建》
關于kafka的實現細節,這主要就是講design的部分:《細節上》、《細節下》
關于kafka開發環境,scala環境的搭建:《開發環境搭建》
數據生產者,producer的用法:《producer的用法》、《producer使用注意》
數據消費者,consumer的用法:《consumer的用法》
還有些零碎的,關于通信段的源碼解讀:《net包源碼解讀》、《broker配置》
——————————————————————————————————
擴展的閱讀還有下面這些:
我的好友寫的關于kafka和jafka的相關博客,特別好,我有很多問題也都找他解決的,大神一般的存在:http://rockybean.github.com/ @rockybean
kafka的java化版本jafka:https://github.com/adyliu/jafka
淘寶的metaQ:https://github.com/killme2008/Metamorphosis
我最近在寫的inforQ,剛開始寫,我也純粹是為了讀下源碼,不定期更新哈:https://github.com/ielts0909/inforq
后面一階段可能更新點兒關于cas的東西吧,具體也沒想好,最近一直出差,寫代碼的時間都很少
--------------------------------------------------------------------------------
0.8版本的相關更新如下:
0.8更新內容介紹:《kafka0.8版本的一些更新》