9月9號和10號在北京參加了IT168主辦的架構師大會,也很榮幸做了淘寶Java中間件之路的分享,分享的PPT已經在大會的官網放出了。這次兩天的會議,跟新老朋友有了不少線下的交流和溝通,感覺不錯。也聽了好幾個Session,有些沒有聽的,也是當時跟幾個朋友在場外交流所致。
下面總結一下自己聽的幾個Session
余沛-自動化運維關系管理
這里面提到了幾個階段,跟陳碩的
blog里面講的不同階段的運維策略,理念上比較的類似。
第一個階段 幾臺---幾十臺 手工并且是模塊兒的視角。也就是看到的只是單個的部署的產品等
第二個階段 幾百臺--幾千臺 這個階段叫做縱向自動化,用機器的粒度看運維,不過運維還是后置服務,有一些腳本、工具等,不過可能比較多的還是在做安裝、維護、救火等工作
第三個階段 幾千臺--上萬臺 運維和開發平行,看問題是按照服務的粒度,運維變成前置服務
接著又著重介紹依賴管理的部分。包括了任務對任務的依賴,任務時間上的依賴,以及數據型的依賴等。
應該說,總體來說比較系統的講述了運維成長的過程。我們自己的機器數也不少了,運維方面的平臺、工具還不是那么的完善,希望能夠在明年年中之前,能夠有比較大的改觀。
李瀚-百度貼吧的技術介紹
這里面記錄了一些關鍵點
百度貼吧有上百億的帖子,熱門的帖子有上千萬的回復,高峰是每秒的PV超過10萬。那么在存儲方面,做了不少事情。同時,對于快速開發、可用性、安全方面考慮的也很多。
在WebSever上,用了異步和集群技術,靜態文件的獲取,可以跑滿網卡,大于單機支撐5k-1w的qps,這個取決于單個文件的大小。
采用Php開發框架,統一開發模式,在性能方面也做了優化。內部實行組件式開發,有公共庫以及一些通用組件。
在存儲方面,分為了兩塊兒,一塊兒是輕量級的存儲,主要采用的是Mysql以及使用了cache技術。數據量小于1T,支撐幾百qps-幾k qps,加入cache解決瀏覽的性能問題。
引入了分區,使用MQ來進行處理
另外,使用KV存儲視頻文件,大概在P的量級。
這個session,主要了解學習了baidu貼吧的一些相關技術架構,也了解了一下數據。
洪濤-虎撲網的架構升級之路
這哥們兒看上去非常爺們兒,講話也比較逗。談到了虎撲網從成立到現在的發展之路,這個是可以給到一些中小網站一些參考。在這個過程中,用到了一些開源軟件,包括但不限于memcached、TT、Redis、RabbitMQ等。后面也會自建機房。這里面,他提到會用硬件負載均衡代替LVS,這個地方我不是很明白,當時也沒有能抓住洪濤問下,后面有機會再請教下。
陳煒-無狀態運維管理
這個家伙跟我住一個屋的,他要講的東東在講之前我就看了一下,應該說,他們真的構建了一個相對完善的監管控的系統,也許沒有哪個部分的技術本身特別高深,但是能夠運用技術,真正把那么多的機器和應用管理起來,能最終落地,我覺得還是非常不容易的。不過這廝還欠我一個東西沒給我,明天上班找他要。
段煉-Defeat Plubic DNS
這里面首先講到了使用Google DNS以及OpenDNS的問題,然后提到了如何去解決這些個問題。其中對于如何知道用戶所在ISP以及使用的Local DNS,采用了不同的方式來處理。也提到了通過跳轉、修改返回的HTML等方式來解決跨運營商訪問的問題。在這個方面,自己之前確實沒有太多經驗,也沒有考慮很多。不過說到底,這都是被天朝特色的ISP給搞的。sigh。
白金-從流量統計、識別出發,看網絡出口帶寬優化
這個演講嘉賓的名字挺酷,他講的東西很全面,也提到一些探測網絡流量等信息的工具,不過這個部分,跟我現在關注的點不太貼合,就當擴充知識面了。
陳爾冬-新浪的私有云平臺
這哥們兒真的很帥,講的也很好,新浪的SAE和內部的私有云還是不錯的,10月份他們會來杭州參加QConHangzhou,到時候再好好聊聊。
我記錄了一些數據
私有云有4000+機器
每日100億動態請求
每日200億的數據庫請求
總共運行了500個項目
馬如悅-Hadoop@Baidu
一個非常實在憨厚的哥們兒,我也是記錄了一些數據
目前Hadoop集群有1.5w node, 年底大概3-4w臺, 明年會到達10w臺
整個集群input data/per day >10PB google 1,20萬機器,30PB
Hadoop一共分了10個clusters
最大的cluster 3000 nodes
1.5億文件+1.5億塊+2000個節點:重啟花費40分鐘
baidu-hdfs2-arch 把namespace跟文件管理分開,上面的相當于 一個規則服務器
針對不同的需求分來處理,比如throughtput 、realtime 等;追求不同,側重點就要不同
總體來說,IT168架構師大會,和QConBeijing以及將要舉辦的QConHangzhou還有Velocity China相比,我感覺整體質量稍微弱些。當然,這僅僅是從我個人的角度來說,從內心來說,希望IT168架構師大會越辦越好,提供一個好的平臺給技術人員交流、提高。
posted on 2011-09-18 21:23
曾憲杰_頂天 閱讀(688)
評論(0) 編輯 收藏 所屬分類:
雜談