【51CTO.com原創(chuàng)稿件】2016年11月25-26日，由51CTO.com主辦的WOT 2016大數據技術峰會在北京粵財JW萬豪酒店隆重召開。自2012年以來，WOT品牌大會秉承“專注技術、服務技術人員”的理念已經成功舉辦十二屆，不僅積累了大量的專家資源，更獲得廣大IT從業(yè)者和技術愛好者的認可和好評，已成為業(yè)界重要的技術分享及人脈拓展平臺。

在WOT2016大數據技術峰會的行業(yè)應用實踐專場，鏈家網大數據架構師趙國賢做了《地產數據的基石之大數據架構之路》的演講，會后記者針對鏈家網大數據架構搭建中遇到的難題和應對方案等與他進行了詳細溝通，以下是采訪分享。

嘉賓介紹

[[177722]]

趙國賢，鏈家網大數據架構師，負責大數據平臺的基礎架構方向，專注構建大數據基礎平臺的相關工作。2011年供職于新浪研發(fā)中心，把全網的行為數據收集方式從離線改造為實時收集，并參與了大數據平臺從無到有的整個發(fā)展歷程。2013年，任職搜狗數據分析平臺高級工程師，建立了一套完備的數據平臺用以支撐公司的數據需求。

鏈家網的大數據架構發(fā)展現狀

鏈家網的數據架構發(fā)展情況是第一套系統(tǒng)滿足日常的數據報表需求，在這個系統(tǒng)基礎上開發(fā)的第二套系統(tǒng)是一個簡單的BI系統(tǒng)，可以實現自助報表需求，現在使用的數據架構是一套完整的解決方案，即平臺級服務。該平臺服務分成三層，包括數據服務層、工具鏈層和基礎服務層。通過這三層的完整架構滿足集成數據需求和相關客戶的數據需求。

鏈家網相對于其他地產公司的核心競爭優(yōu)勢就是數據，比如說公司從2006年開始打造的“樓盤字典”，可以描述全國七千萬套房子的詳細情況。鏈接網的大數據架構除了滿足日常的業(yè)務查詢需求，還會定期分享數據報告給公司管理層、用戶和潛在使用者查看。而且，鏈家研究院會定期通過使用數據平臺獲取一些數據，然后通過機器學習類似的方法，能夠生成一套完備的地產數據報告。

在數據的內部使用上，鏈家網有一套完善的數據控制方案，門店的店長和經紀人有不同的數據查看權限，但是僅限于查看所在區(qū)域的數據，無法實現跨區(qū)的數據操作。對于經紀人，他只能查詢到他權限內的必要數據，即定位所在門店一定范圍內相關的商圈、門店的數據，沒有權限獲取更多的數據。如果地產經紀人在實際操作中，涉及到跨區(qū)數據操作的情況，該怎么辦呢?解決方案是該經紀人可以和其他經紀人合作，獲得相關房產數據來為客戶服務。每個經紀人都擁有一個完備的房產數據信息，比如誰注冊了這個房子、誰進行的客戶連接、誰賣了這個房子，有一整套數據平臺給經紀人提供服務。他們通過這套數據平臺，能滿足客戶快速找到最合適房子的需求。

鏈家網在大數據架構方面的技術支撐

為了應對業(yè)務的大幅增長和架構調整，鏈家網打造了一套完備的數據處理倉庫系統(tǒng)，包括一站式數據管理系統(tǒng)和一站式的指標管理系統(tǒng)，這兩個系統(tǒng)數據描述清晰，可以滿足大部分經紀人對業(yè)務的數據需求，幫助用戶快速查看數據。無論業(yè)務如何增長，內部的數據需求始終處于一個收斂狀態(tài)，收斂到數據管理系統(tǒng)和指標管理系統(tǒng)上，日常通過完善數據管理和指標管理，可以滿足大部分的數據需求，不會讓數據平臺提供的服務因為業(yè)務的增長造成人員的堆疊，還有技術方案的不滿足。

在架構搭建過程中，他們遇到了哪些難點?

趙老師談到他們遇到的架構搭建難點還是來自業(yè)務增長太快的壓力，面對每天高頻次的訪問量，他們集群的規(guī)模相對顯得較小，這樣容易造成計算任務擁塞、堆疊，出現處理不及時的現象。他們的應對方式是采取資源隔離，把相關較高級別的任務放在高級別任務的隊列上，把低級別的任務放到低級別的隊列上，通過這種分隊列的處理方式來滿足業(yè)務增長的需求，實現以相對少的硬件資源滿足更多的業(yè)務需求。

未來1到2年，他們如何從軟硬件上滿足業(yè)務的發(fā)展需求?

為了應對軟件方面的挑戰(zhàn)，鏈家網正在打造一個API服務，需要完成一站式元數據管理系統(tǒng)和指標管理系統(tǒng)。在硬件方面，鏈家網面臨集群的擴容問題如何更好地跟進業(yè)務的增長速度，他們已經準備實施云混合的技術，比如使用亞馬遜的云、使用阿里的云，包括鏈家自己的IDC，其中阿里云和亞馬遜云有一個比較好的優(yōu)勢，就是能夠非?？焖俚臄U容。相信鏈家在未來會給用戶帶來更多驚喜!

【51CTO原創(chuàng)稿件，合作站點轉載請注明原文作者和出處為51CTO.com】