自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

數(shù)據(jù)API經(jīng)濟與大規(guī)模數(shù)據(jù)流通:從水的寓言說起

大數(shù)據(jù)
近期數(shù)據(jù)API接口服務逐漸興起,正因數(shù)據(jù)API服務允許需求方“挑數(shù)據(jù)”,并具備“開箱即用”以及降低交易成本與門檻等優(yōu)點,將會成為數(shù)據(jù)能力開放與交易流通的重要手段。但數(shù)據(jù)API從當前的實踐來看遠非完美,運營不慎會導致類似金融領(lǐng)域洗錢行為的“洗數(shù)”活動出現(xiàn),并在隱私保護、計費方面存在不足,因此本文提出了“增強型數(shù)據(jù)交換導向API”的概念,使得數(shù)據(jù)API經(jīng)濟能在深思熟慮的頂層設計下運行。本文將從一個寓言故事引出上述探討。

近期數(shù)據(jù)API接口服務逐漸興起,正因數(shù)據(jù)API服務允許需求方“挑數(shù)據(jù)”,并具備“開箱即用”以及降低交易成本與門檻等優(yōu)點,將會成為數(shù)據(jù)能力開放與交易流通的重要手段。但數(shù)據(jù)API從當前的實踐來看遠非完美,運營不慎會導致類似金融領(lǐng)域洗錢行為的“洗數(shù)”活動出現(xiàn),并在隱私保護、計費方面存在不足,因此本文提出了“增強型數(shù)據(jù)交換導向API”的概念,使得數(shù)據(jù)API經(jīng)濟能在深思熟慮的頂層設計下運行。本文將從一個寓言故事引出上述探討。

[[184784]]

文:胡嘉琪/亞信數(shù)據(jù)銀行行業(yè)線資深顧問

水的寓言故事:自古以來,水資源都是分布不均的,大多數(shù)湖泊、河流系統(tǒng)互不相通,人們自發(fā)地從附近的水源地打水灌溉、飲用。然而遠離水源的居民要么親自跋山涉水取得用水,要么從水商人處購買用水–生活在水源附近的居民慢慢發(fā)現(xiàn),水源的水除了自身使用以外,原來還能對外開放賣錢。逐漸有經(jīng)濟頭腦、希望將自身水資源變現(xiàn)的水商人出現(xiàn)了,最早的水商人將水放到水車里面直接整車水出售,但逐漸發(fā)現(xiàn)這種方法效率低下,因為用戶即使僅僅需要一點點水做飯,也不得不買回整車水。這時候,一個聰明的水商人發(fā)明了自來水–直接將水從水源地通過水管接入用戶家,打開水龍頭就能用水了,并按使用量收費,大大減少了運輸成本,也為用戶提供了按需使用的便利。

看到這個巨大的商機,越來越多的水商人開始發(fā)展自來水服務,希望能把自己的水龍頭接到用戶家。面對同質(zhì)化競爭,相信大家也會想到結(jié)果:逆向選擇產(chǎn)生了。部分水商人們開始以次充好,通過接入有污染的水源降低成本從而取得市場,誠信的水商人逐漸被趕出市場,臟水最終充斥于管道中。人們不得不額外購買凈水設備,最終成本一算還不如直接整車買水,整個自來水市場陷入崩潰。這時候,國王出來了,制定了自來水供應的標準規(guī)范,規(guī)定了水源質(zhì)量標準、水管用料、水龍頭性能、水表構(gòu)造等一系列通用標準,并強制水商人按標準使用,逐漸杜絕了自來水逆向選擇現(xiàn)象,人們最終用上了安全、放心的廉價自來水。

數(shù)據(jù)API服務的劃時代意義

如果把數(shù)據(jù)比作水資源的話,數(shù)據(jù)交易與流通最原始的形態(tài),就是以數(shù)據(jù)集為交易單位的批數(shù)據(jù)交易與流通,如同寓言故事中水商人將水整車出售。然而采取整批數(shù)據(jù)交易與流通的方式無疑是低效的,首先數(shù)據(jù)的價值具有較強的相對性,假設有一個包括中國13億人的興趣愛好標簽數(shù)據(jù)集需要流通,實際上大部分企業(yè)只需要其中的一部分數(shù)據(jù),讓數(shù)據(jù)需求方把全體數(shù)據(jù)買回去無疑是不經(jīng)濟的,數(shù)據(jù)交易與流通需要給予數(shù)據(jù)需求方“挑數(shù)據(jù)”的能力。其次,整個數(shù)據(jù)集的流通必然帶來很大的數(shù)據(jù)應用難度–需求方還需要額外對數(shù)據(jù)集進行數(shù)據(jù)處理、分析、挖掘才能獲取其中的價值,無法達到數(shù)據(jù)“開箱即用”的便利性;最后,批數(shù)據(jù)交易方式本身,同時抬高了交易成本與門檻。畢竟這種一錘子買賣的方式將購買方置于信息不對稱的一端,在獲取到數(shù)據(jù)之前通常很難準確判斷其真實價值,就如同購買玉石原石一樣,在切開前僅能憑經(jīng)驗與運氣判斷其成色,無疑大幅提高了交易因為信息不對稱導致的交易成本。

而數(shù)據(jù)API接口的產(chǎn)生,賦予了數(shù)據(jù)交易與流通猶如“擰水龍頭”一樣的使用方式,相對完美地解決了上述數(shù)據(jù)交易與流通中“挑數(shù)據(jù)”、“開箱即用”以及降低交易成本與門檻三個關(guān)鍵問題。了解IT技術(shù)的人都清楚API(Application Program interface,應用程序接口)是關(guān)于兩個不同主體(如數(shù)據(jù)供需雙方)程序間“交流”和“交換”數(shù)據(jù)方式的規(guī)范,通過API規(guī)范能實現(xiàn)主體之間數(shù)據(jù)的精確交換。如一個典型的“三元驗真”數(shù)據(jù)API是這樣的:

業(yè)務場景:幫助金融機構(gòu)核實申請人的身份準確性,具體而言金融機構(gòu)擁有申請人的姓名、身份證以及手機號三個元素,希望有途徑核實三者是能對應上的,從而防范虛假身份申請。

數(shù)據(jù)源:運營商的實名制數(shù)據(jù)恰好能匹配這個需求。

數(shù)據(jù)API形態(tài):金融機構(gòu)向運營商傳輸一組申請人的姓名、身份證以及手機號,API返回是否匹配的結(jié)果。

這種猶如“擰水龍頭”的數(shù)據(jù)使用方式,對于需求方來說可謂完美地解決了 “挑數(shù)據(jù)”的需求,并賦予了需求方直接挑數(shù)據(jù)項的精度;同時也是一項“開箱即用”的數(shù)據(jù)服務,相信這點無須論述,需求方唯一需要做的僅是部署簡單的本地程序;而最為有意義的是,數(shù)據(jù)API大大降低了數(shù)據(jù)交易的成本和門檻,對激活交易市場非常有幫助,因為一方面數(shù)據(jù)API是按需消費,無需購買全量數(shù)據(jù),同時很大程度地減少數(shù)據(jù)質(zhì)量的爭議。如果需求方查詢了幾個數(shù)據(jù)發(fā)現(xiàn)都不可靠,那就自然不會繼續(xù)使用了。這不僅有利于減少需求方對數(shù)據(jù)質(zhì)量的疑慮,同時倒逼供給方做好數(shù)據(jù)質(zhì)量。

正因為數(shù)據(jù)API具備如此顯著的優(yōu)勢,目前已經(jīng)成為業(yè)界試水數(shù)據(jù)開放與交易的最熱門方式。除傳統(tǒng)BAT外,京東、海南航空等業(yè)界巨頭在數(shù)據(jù)能力開放中均使用了數(shù)據(jù)API作為數(shù)據(jù)交換標準,另外更出現(xiàn)了如聚合數(shù)據(jù)等平臺性玩家,匯聚跨行業(yè)數(shù)據(jù)API打造數(shù)據(jù)交易生態(tài)體系。下表是部分典型數(shù)據(jù)API開放接口運營商的信息,大家可自行體驗感受下。

大數(shù)據(jù)

實際上,API并不是一個新鮮事物,早在2012年谷歌已經(jīng)創(chuàng)造了每天通過API處理50億筆交易的記錄,而著名SaaS提供商Salesforce年收入中有一半是通過API產(chǎn)生的,“API經(jīng)濟”早已成為科技界的一個熱詞,只是過去API接口交換的內(nèi)容更多是標準化的應用能力而非數(shù)據(jù),但從目前尚存的蛛絲馬跡中可依稀看到,大規(guī)模數(shù)據(jù)流通的未來新星也將會是數(shù)據(jù)API范式。在過去我們清晰看到,越來越完善的IT架構(gòu)、尤其是云計算的普及讓企業(yè)的商業(yè)模式核心能力已經(jīng)充分IT化甚至云化,通過API接口實現(xiàn)了商業(yè)模式核心能力的外延大大擴充。如地圖服務提供商通過API接口實現(xiàn)了GIS能力的開放,使得合作伙伴能便利接入GIS能力并基于此開發(fā)出價值更豐富的應用,并共同分享價值,而這種邏輯同樣適用于數(shù)據(jù)能力的外延擴充。如果說PaaS平臺實現(xiàn)了流計算、并行機器學習等重型大數(shù)據(jù)武器的輕量化的話,數(shù)據(jù)API將實現(xiàn)企業(yè)數(shù)據(jù)能力的精準推送與變現(xiàn),這是解決大數(shù)據(jù)應用模式“最后一公里”的關(guān)鍵手段。

數(shù)據(jù)API經(jīng)濟的潛在風險

我們看到數(shù)據(jù)API在構(gòu)筑未來大規(guī)模數(shù)據(jù)跨業(yè)態(tài)流通方面的巨大潛力,以及數(shù)據(jù)API作為一種數(shù)據(jù)交換規(guī)范方面本身難以替代的優(yōu)點,但通過深入觀察我們可以發(fā)現(xiàn),當今的數(shù)據(jù)API規(guī)范遠非完美,在今后推動數(shù)據(jù)流通中將會浮現(xiàn)各種問題和潛在風險,其中最典型的就是“洗數(shù)”活動的出現(xiàn)。

問題一:當前數(shù)據(jù)API規(guī)范缺乏數(shù)據(jù)鑒權(quán)能力,將導致“洗數(shù)”活動泛濫。我們知道,數(shù)據(jù)API的本質(zhì)是數(shù)據(jù)能力的DaaS化,即將復雜龐大的泛化數(shù)據(jù)資產(chǎn)根據(jù)特定的業(yè)務場景進行預處理與挖掘,并通過API接口規(guī)范輸出為精確的數(shù)據(jù)應用推送。典型的案例如上文介紹的三元驗真API服務,是一種范化數(shù)據(jù)到具象化應用的轉(zhuǎn)移。因此我們發(fā)現(xiàn),數(shù)據(jù)API應用本身也是一個數(shù)據(jù)降維的過程,在獲得滿意結(jié)果的同時,我們實際上看不到原始數(shù)據(jù)的任何特征,包括原始數(shù)據(jù)的實際權(quán)屬,屬于數(shù)據(jù)“可見不可得”的應用方式。如此一來,各類地下黑市數(shù)據(jù)就有機會堂而皇之地被轉(zhuǎn)化、包裝為數(shù)據(jù)API服務,被洗白后出現(xiàn)在各類數(shù)據(jù)交易平臺之中,而實際上需求方?jīng)]有太多辦法分別其中的貓膩。

假設有人通過數(shù)據(jù)地下黑市獲取了大量個人房地產(chǎn)交易數(shù)據(jù)(而事實上現(xiàn)在數(shù)據(jù)黑市的主要數(shù)據(jù)買家除了詐騙者、黑客以外,就是各類大數(shù)據(jù)公司),這些灰色數(shù)據(jù)在被獲取以后,很容易整合、處理為金融機構(gòu)尤其是互聯(lián)網(wǎng)金融迫切需要的個人征信類數(shù)據(jù)API,具體返回查詢對象名下房產(chǎn)的數(shù)量或者市值等級。通過這樣的降維處理及出售方式轉(zhuǎn)化(整批數(shù)據(jù)違法出售變?yōu)閱蝹€數(shù)據(jù)查詢),數(shù)據(jù)就被洗白一遍了,另外如果加入其它數(shù)據(jù)通過更為復雜的模型處理并轉(zhuǎn)變?yōu)楦鼮楦邔哟蔚慕Y(jié)果輸出后,其數(shù)據(jù)的違法性幾乎會被洗白得無法追蹤。這個過程就猶如金融中的洗錢活動一樣,可以預見隨著數(shù)據(jù)API經(jīng)濟的興起,“洗數(shù)”活動將會逐漸出現(xiàn),畢竟黑市數(shù)據(jù)價格與數(shù)據(jù)API售價差異的暴利擺在那里。

正如開篇寓言故事中水龍頭商人以次充好的行為,“洗數(shù)”活動的實質(zhì),相當于把看不見的地溝油和病豬肉做成香噴噴的香腸,表面上刺激了數(shù)據(jù)交易與流通,提高了供給側(cè)數(shù)據(jù)產(chǎn)品的多樣性,但實質(zhì)上是讓大量不及格的數(shù)據(jù)流入了市場服務中,長期上損害了市場本身,最終導致逆向選擇的出現(xiàn)毀掉了數(shù)據(jù)API交易經(jīng)濟。

問題二:缺乏對個人隱私數(shù)據(jù)查詢的保障。如果說上文介紹過的個人用戶三元驗真API服務已經(jīng)涉及到個人用戶隱私邊界的話,那目前個別如身份證頭像校驗、學歷查詢、電商消費者畫像查詢等數(shù)據(jù)API則已經(jīng)大張旗鼓地進入了個人隱私保護的禁區(qū)。我們知道,第三方機構(gòu)查詢個人用戶央行征信報告前,是需要得到個人用戶明確書面授權(quán)的,其中的法理非常簡單,因為這些數(shù)據(jù)可能會為當事人帶來不利的影響。在未來,我認為數(shù)據(jù)API將需要建立類似的個人用戶授權(quán)體系,要求查詢方在得到用戶明確授權(quán)后才能獲取相應的隱私敏感性查詢結(jié)果,否則與倒賣個人數(shù)據(jù)的販子沒有本質(zhì)區(qū)別,充其量只是通過API接口這種相對隱蔽的方式去做而已。但目前來看,業(yè)界對于隱私類數(shù)據(jù)API的查詢授權(quán)是嚴重缺失的。

問題三:不具備豐富的計費模塊,無法實現(xiàn)差異化數(shù)據(jù)定價。當前數(shù)據(jù)API提供商在計費模式上,基本采取小流量查詢按次計費,部分包量查詢(如xx元xx次),大流量查詢(大客戶)線下議價的方式進行。但事實上數(shù)據(jù)交易與流通的定價與計費是非常復雜的一個課題,原因在于數(shù)據(jù)具有錯綜復雜的價值相對性,對于主體A一文不值的數(shù)據(jù),放到主體B那里則猶如金子般珍貴。將來隨著數(shù)據(jù)API經(jīng)濟進入爆發(fā)式增長時期,可以預見,靈活計費、對數(shù)據(jù)進行差異性定價將會成為數(shù)據(jù)API運營的一大重要抓手,數(shù)據(jù)API運營平臺甚至需要具備類似電信運營商計費系統(tǒng)的復雜計費能力,才能有效匹配數(shù)據(jù)API經(jīng)濟的發(fā)展。

由于集眾多優(yōu)點于一身,數(shù)據(jù)API將會成為數(shù)據(jù)大規(guī)模交易與流通的重要方式,甚至是將來數(shù)據(jù)流通的事實標準。但從目前數(shù)據(jù)API實踐來看仍存在眾多問題,究其原因,主要在于目前數(shù)據(jù)API接口這件事情本身被大家定位為數(shù)據(jù)交換的技術(shù)手段,并未更深入去耦合各種數(shù)據(jù)交易典型場景,如隱私保護、鑒權(quán)與計費,但這些場景元素在數(shù)據(jù)交易中是必不可少的甚至是前提條件,它們的缺席將催生大量如“洗數(shù)”等亂象,就如開篇寓言故事中無序發(fā)展的自來水市場。而這時候需要有一套權(quán)威的數(shù)據(jù)API交換標準,正如故事中國王的強制性自來水標準,讓數(shù)據(jù)API經(jīng)濟在深思熟慮的頂層設計下運行。而這套權(quán)威的數(shù)據(jù)API交換標準,本文先暫時稱為“增強型數(shù)據(jù)交換導向API”,即EDO-API(Enhance Data-exchange Oriented Application Program interface)。

增強型數(shù)據(jù)交換導向API與大規(guī)模數(shù)據(jù)流通

增強型數(shù)據(jù)交換導向API,即EDO-API是本文提出的創(chuàng)新概念,其目的是以技術(shù)為核心驅(qū)動力,旨在完善現(xiàn)在基于數(shù)據(jù)API接口的數(shù)據(jù)交易與流通中的種種不足,并整合為一套具備權(quán)威性的數(shù)據(jù)API流通標準性接口產(chǎn)品。具體設計上應高度耦合關(guān)鍵性數(shù)據(jù)交易元素,至少解決以下問題:

智能數(shù)據(jù)鑒權(quán)能力–EDO-API作為數(shù)據(jù)交換標準,提供智能化數(shù)據(jù)鑒權(quán)能力,杜絕將灰色數(shù)據(jù)加工為數(shù)據(jù)API服務的“洗數(shù)”行為。誠然,數(shù)據(jù)鑒權(quán)是個復雜性問題,尤其是在個人數(shù)據(jù)盜賣已成完整產(chǎn)業(yè)鏈的當今,防范數(shù)據(jù)API被作為灰色數(shù)據(jù)洗白變現(xiàn)的窗口實際上是個很有難度的事情。科學鑒權(quán)需要涉及到完備的數(shù)據(jù)源審核流程與認證體系,EDO-API需要具備這樣的模塊,從而保障認證的數(shù)據(jù)流通于陽光之下,而其中的市場價值也是顯而易見的。

個人隱私數(shù)據(jù)查詢授權(quán)功能–數(shù)據(jù)鑒權(quán)是為了杜絕灰色數(shù)據(jù)的洗白變現(xiàn),而在數(shù)據(jù)API經(jīng)濟中,正規(guī)的個人類查詢數(shù)據(jù)在獲得授權(quán)下是應該允許流通交易的,正如央行個人征信數(shù)據(jù)在獲得當事人授權(quán)后允許第三方查詢。EDO-API里面,可內(nèi)嵌一套個人用戶授權(quán)IT解決方案,如標準化個人數(shù)據(jù)查詢授權(quán)電子協(xié)議接口,互聯(lián)網(wǎng)金融機構(gòu)可將這份電子協(xié)議嵌入自身的用戶協(xié)議中,用戶同意后將生成一個授權(quán)token,允許這家機構(gòu)通過EDO-API查詢電子協(xié)議中用戶授權(quán)范圍內(nèi)的個人數(shù)據(jù)。

綜合性計費模塊–上文已經(jīng)論述過為什么說豐富的計費模式對于數(shù)據(jù)的交易與流通將具備極其重要的意義,另外有效運營是數(shù)據(jù)API經(jīng)濟中不可或缺的核心抓手,而運營離不開的是大而豐富的盈利模式,而盈利模式在IT端則反映為計費問題。如何通過強大的計費系統(tǒng)去支撐數(shù)據(jù)API經(jīng)濟的有效運營,如支持各種API調(diào)用次數(shù)的階梯包月套餐、查詢費用促銷(打折、限免)、閑時流量(鼓勵用戶在API提供方服務器并發(fā)量低時查詢),甚至創(chuàng)新性的按實際數(shù)據(jù)效果付費等收費方式,是EDO-API需要提供的一個核心能力。

總體而言,EDO-API需要搭建一套規(guī)范性的數(shù)據(jù)流通環(huán)境標準,同時提供計費、數(shù)據(jù)隱私保護及數(shù)據(jù)安全等一系列中間件,可以迅速幫助企業(yè)主體建立完善的數(shù)據(jù)開放與流通的環(huán)境,大幅度降低數(shù)據(jù)提供方的部署成本以及需求方的交易成本,從而形成完善的數(shù)據(jù)交易與流通生態(tài)系統(tǒng),支撐數(shù)據(jù)API經(jīng)濟的未來。正如故事中國王的強制性自來水標準,數(shù)據(jù)的大規(guī)模流通,特別是數(shù)據(jù)API經(jīng)濟也需要一套標準,這就是EDO-API的定位。目前市場上缺的從來不是數(shù)據(jù),而是讓數(shù)據(jù)交易在陽光下流通的標準方法。

最后,簡單談談數(shù)據(jù)交易標準以及我們亞信的Datahub

目前已經(jīng)有一些機構(gòu)在推動數(shù)據(jù)交易標準的建立,但我認為數(shù)據(jù)交易標準不應該僅僅是一紙文檔或者行政命令,而是一套能真正解決市場中數(shù)據(jù)交易問題的技術(shù)性標準。正如我們回顧互聯(lián)網(wǎng)流量交易的發(fā)展,可以發(fā)現(xiàn)真正的推動力量并不是各種亂七八糟的廣告聯(lián)盟公約、廣告投放標準,而是扎扎實實的流量交易技術(shù),比如計算點擊率的大規(guī)模并行邏輯回歸、反作弊引擎。正是這些接地氣、能解決流量交易實際業(yè)務問題的技術(shù)所構(gòu)成的整體交易架構(gòu),才是真正的交易標準。–我們看到百度、谷歌等都用類似的技術(shù)架構(gòu)在運營廣告,這是技術(shù)使然。

個人感覺相比互聯(lián)網(wǎng)流量交易,數(shù)據(jù)交易的技術(shù)驅(qū)動特性將更為深刻,誰能設計出一套能支撐數(shù)據(jù)交易中隱私保護、鑒權(quán)、計費與定價等業(yè)務問題的技術(shù)標準,則會成為未來大數(shù)據(jù)領(lǐng)域的一匹耀眼獨角獸。而目前我們亞信的Datahub作為目前業(yè)界幾乎唯一瞄準做數(shù)據(jù)交易與流通標準平臺的產(chǎn)品,正走在一條光明的道路上,并應該瞄準這個終極目標前進,期待能融入更多實際解決數(shù)據(jù)交易核心業(yè)務問題的技術(shù)能力,正如上文構(gòu)想的EDO-API的一些特性。

作者簡介:

胡嘉琪,亞信數(shù)據(jù)銀行行業(yè)線資深顧問,從事業(yè)務咨詢、數(shù)據(jù)化運營與數(shù)據(jù)挖掘近10年,近期主要參與大數(shù)據(jù)跨行業(yè)應用、數(shù)據(jù)服務與數(shù)據(jù)變現(xiàn)研究。

責任編輯:張燕妮 來源: 36大數(shù)據(jù)
相關(guān)推薦

2024-04-02 14:29:12

網(wǎng)絡安全數(shù)據(jù)泄露

2022-06-24 09:00:00

數(shù)據(jù)管理數(shù)據(jù)卷數(shù)據(jù)存儲

2023-10-26 01:26:04

Vaex數(shù)據(jù)數(shù)據(jù)集

2023-11-22 09:27:15

數(shù)據(jù)遷移

2022-09-06 23:59:29

數(shù)據(jù)安全人工智能隱私計算

2020-06-10 10:00:53

Serverless數(shù)據(jù)處理函數(shù)

2021-08-25 08:23:51

AI數(shù)據(jù)機器學習

2020-07-23 14:03:09

數(shù)據(jù)中心數(shù)據(jù)網(wǎng)絡

2024-08-21 15:14:21

2016-05-30 12:08:14

2022-12-30 14:14:51

數(shù)據(jù)中心服務器

2017-01-11 15:54:53

SDN網(wǎng)絡數(shù)據(jù)中心中國移動

2021-03-24 11:13:12

數(shù)據(jù)中心云計算物聯(lián)網(wǎng)

2020-12-11 19:52:06

數(shù)據(jù)中心超大規(guī)模數(shù)據(jù)中心

2023-02-14 11:24:36

2024-09-13 13:36:29

2019-06-10 16:17:37

2017-09-22 10:31:17

超大規(guī)模微型數(shù)據(jù)中心

2023-10-05 12:43:48

數(shù)據(jù)處理

2024-10-21 17:40:22

點贊
收藏

51CTO技術(shù)棧公眾號