無(wú)論是電商還是互聯(lián)網(wǎng)廣告，直接面對(duì)的是用戶，用戶的屬性決定了他會(huì)購(gòu)買哪些商品或者點(diǎn)擊哪些廣告。那么建立用戶標(biāo)簽系統(tǒng)對(duì)于這些企業(yè)非常重要。

本屆WOT軟件技術(shù)峰會(huì)特邀小象科技作為大會(huì)特邀合作伙伴，匯集大數(shù)據(jù)社區(qū)技術(shù)精英，于7月27日舉辦大數(shù)據(jù)專場(chǎng)培訓(xùn)。本次培訓(xùn)主要討論如何建立用戶標(biāo)簽系統(tǒng)和如何使用這些標(biāo)簽系統(tǒng)實(shí)現(xiàn)商業(yè)價(jià)值。

[[116385]]

講師：董西成

ChinaHadoop小象社區(qū)核心成員

《Hadoop技術(shù)內(nèi)幕：深入解析MapReduce架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理》和《Hadoop技術(shù)內(nèi)幕：深入解析YARN架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理》書籍作者；資深Hadoop技術(shù)實(shí)踐者和研究者，曾參與商用Hadoop原型研發(fā)，以及分布式日志系統(tǒng)、全網(wǎng)圖片搜索引擎、Hadoop調(diào)度器等項(xiàng)目的設(shè)計(jì)與研發(fā)。

1. 從技術(shù)來(lái)說(shuō)，您認(rèn)為大數(shù)據(jù)在今年還會(huì)有什么革新？總體感覺(jué)，如何與行業(yè)應(yīng)用結(jié)合?

從技術(shù)方面，個(gè)人認(rèn)為計(jì)算框架方面將有飛速發(fā)展，包括內(nèi)存計(jì)算、流式計(jì)算和交互式計(jì)算等，這主要涉及Spark/Spark SQL和Hive On Tez技術(shù)體系，尤其是spark，引起來(lái)各大公司興趣，均嘗試使用spark解決之前MapReduce不能夠很好解決的問(wèn)題。總體而言，Spark等系統(tǒng)能夠很好地解決對(duì)效率要求較高的問(wèn)題，典型地是迭代式的機(jī)器學(xué)習(xí)算法，這也是公司嘗試Spark的最初動(dòng)力。

2. 行業(yè)大數(shù)據(jù)其實(shí)早就存在，但對(duì)此認(rèn)知并不一樣，您認(rèn)為這種差異性表現(xiàn)在哪里？

大數(shù)據(jù)存儲(chǔ)和分析方面的技術(shù)能力存在差異。之前缺乏廉價(jià)可用的分布式技術(shù)存儲(chǔ)和分析大數(shù)據(jù)，使得很多公司丟棄了很多數(shù)據(jù)，或者僅僅是將一部分?jǐn)?shù)據(jù)保存下來(lái)，未進(jìn)行分析。如今大數(shù)據(jù)存儲(chǔ)和處理計(jì)算日漸成熟，尤其是開源技術(shù)的飛速發(fā)展和互聯(lián)網(wǎng)公司的帶動(dòng)，使得行業(yè)大數(shù)據(jù)成為爆發(fā)點(diǎn)。

3. 行業(yè)大數(shù)據(jù)的實(shí)施，您認(rèn)為技術(shù)難點(diǎn)在哪里？

個(gè)人認(rèn)為難點(diǎn)在技術(shù)方案的轉(zhuǎn)變。目前很多傳統(tǒng)行業(yè)仍采用非常過(guò)時(shí)的技術(shù)方案，這些方案難以支撐大數(shù)據(jù)，鑒于此，很多公司嘗試朝大數(shù)據(jù)架構(gòu)轉(zhuǎn)型，但由于過(guò)多的歷史包袱以及缺乏大數(shù)據(jù)技術(shù)的理解和信心，使得整個(gè)過(guò)程非常緩慢。

4. 請(qǐng)分享一個(gè)您參與的傳統(tǒng)企業(yè)大數(shù)據(jù)項(xiàng)目。這個(gè)項(xiàng)目大致分幾個(gè)階段？

介紹一個(gè)銀行的項(xiàng)目，該項(xiàng)目的目的是ATM等終端設(shè)備的日志收集和分析，這是銀行的一個(gè)試探性項(xiàng)目，可認(rèn)為是對(duì)大數(shù)據(jù)開源技術(shù)的嘗試，由于這一塊跟已有架構(gòu)重疊較小，因?yàn)椴荒芎芎玫卮硪话愕拇髷?shù)據(jù)項(xiàng)目。這個(gè)項(xiàng)目經(jīng)過(guò)了可行性分析，技術(shù)驗(yàn)證（小規(guī)模數(shù)據(jù)測(cè)試），項(xiàng)目開發(fā)，項(xiàng)目上線和運(yùn)營(yíng)等幾個(gè)階段。

5. 大數(shù)據(jù)項(xiàng)目的實(shí)施，對(duì)已經(jīng)存在的業(yè)務(wù)分析架構(gòu)，會(huì)帶來(lái)怎樣的影響？

取決于跟已存在業(yè)務(wù)分析架構(gòu)的相關(guān)關(guān)系，如果是互相補(bǔ)充和完善，則巧妙地設(shè)計(jì)會(huì)完善公司的業(yè)務(wù)分析架構(gòu)，如果是替代，則會(huì)逐步將業(yè)務(wù)遷移到大數(shù)據(jù)架構(gòu)上。

6. 大數(shù)據(jù)應(yīng)用工具的大量出現(xiàn)，會(huì)取代數(shù)據(jù)分析人員的位置嗎？

短時(shí)間內(nèi)，數(shù)據(jù)分析人員仍處于不可或缺的位置。大數(shù)據(jù)應(yīng)用工具扔僅僅是數(shù)據(jù)分析人員完成數(shù)據(jù)分析的工具，難以將全部分析交給這些工具完成而無(wú)需分析人員的干預(yù)。

7. 數(shù)據(jù)是傳統(tǒng)企業(yè)最核心的資產(chǎn)。我們?cè)诖髷?shù)據(jù)的分布式處理方式下，該如何保證數(shù)據(jù)的安全性和完整性？

數(shù)據(jù)安全性和完整性是大數(shù)據(jù)時(shí)代面臨的***挑戰(zhàn)之一，目前國(guó)內(nèi)很大一部分公司扔將大數(shù)據(jù)保存在自己私有的集群中，不會(huì)直接接入互聯(lián)網(wǎng)，這樣，可以把安全問(wèn)題局限在一個(gè)局域網(wǎng)內(nèi)，解決起來(lái)容易一些。

8. 在51CTO舉辦的WOT軟件技術(shù)峰會(huì)上，會(huì)有大數(shù)據(jù)專場(chǎng)培訓(xùn)。這里面會(huì)涉及哪些方面的內(nèi)容？這些培訓(xùn)適合哪些技術(shù)人員？

這次專場(chǎng)培訓(xùn)，我主要介紹數(shù)據(jù)基礎(chǔ)設(shè)施，包括數(shù)據(jù)收集、存儲(chǔ)與計(jì)算系統(tǒng)，具體是

（1）數(shù)據(jù)收集： 使用分布式收集工具Sqoop/Flume對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一收集

（2）數(shù)據(jù)存儲(chǔ)：使用分布式存儲(chǔ)系統(tǒng)HDFS/HBase對(duì)數(shù)據(jù)進(jìn)行集中式存儲(chǔ)

（3）數(shù)據(jù)分析與計(jì)算：包括批處理、交互式和內(nèi)存計(jì)算三種

這次培訓(xùn)適合想了解大數(shù)據(jù)技術(shù)的初中級(jí)技術(shù)人員以及想了解大數(shù)據(jù)應(yīng)用案例的高級(jí)技術(shù)人員。