公司名稱: Kyligence

公司介紹:

Kyligence （上海跬智信息技術(shù)有限公司）由***來自中國的 Apache 軟件基金會***開源項目 Apache Kylin 核心團隊組建，是專注于大數(shù)據(jù)分析領(lǐng)域的數(shù)據(jù)科技公司。Kyligence 提供基于Hadoop 的企業(yè)級智能大數(shù)據(jù)分析平臺，在PB（petabyte）級數(shù)據(jù)集上提供亞秒級查詢響應(yīng)和互聯(lián)網(wǎng)級的高并發(fā)訪問。

目前，Kyligence 已贏得了海內(nèi)外多家保險、證券、電信、制造、零售、廣告等行業(yè)的企業(yè)級客戶。公司總部在上海，同時，在北京、深圳等地設(shè)有辦事機構(gòu), 在美國硅谷設(shè)有分公司，目前，已獲得來自紅點中國、思科、寬帶資本、順為資本及斯道資本（富達國際自有投資機構(gòu)）等投資機構(gòu)的多輪投資。

解決方案介紹:

高性能的多維分析解決方案

背景

OLAP（Online Analytical Process，聯(lián)機分析處理）是數(shù)據(jù)倉庫系統(tǒng)最主要的應(yīng)用，通過對業(yè)務(wù)部門常用的維度和指標進行建模和預(yù)計算，可以讓業(yè)務(wù)分析人員快速、靈活地從不同業(yè)務(wù)視角對數(shù)據(jù)進行下鉆、上卷、切片等復(fù)雜的分析操作，以達到深入理解數(shù)據(jù)的目的，從而更加高效地支持日常的業(yè)務(wù)運作。

需求

在面對不斷增長的海量數(shù)據(jù)和爆發(fā)的分析需求時，傳統(tǒng)BI工具的Scale up架構(gòu)常常會陷入數(shù)據(jù)規(guī)模受限、Cube維度數(shù)目和容量受限、查詢響應(yīng)慢、并發(fā)支持能力差等技術(shù)局限，大大限制了OLAP分析的應(yīng)用場景。IT運維方不得不每年投入大量經(jīng)費對集群進行擴容，來滿足日益增長的數(shù)據(jù)量和業(yè)務(wù)需求，這種方式成本高，周期長，效果也不理想。

解決方案

Hadoop技術(shù)擁有低廉的存儲成本、靈活的擴展架構(gòu)，強大的并行處理能力，使得用戶能夠擺脫傳統(tǒng)DW/BI技術(shù)在性能、成本方面的限制，對海量結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)進行存儲、加工、交互式多維分析，以Hadoop技術(shù)為核心的生態(tài)圈業(yè)已成為大數(shù)據(jù)平臺事實上的技術(shù)標準。

Kyligence依托Hadoop的HDFS分布式存儲技術(shù)和MapReduce/Spark分布式計算引擎，能夠提供萬億數(shù)據(jù)規(guī)模下的秒級查詢性能。基于Scale-out架構(gòu)的Cube技術(shù)，存儲成本低，運維方便，性能穩(wěn)定高效，支持高并發(fā)訪問，且無需頻繁擴容集群。另外，Kyligence提供對ANSI SQL的良好兼容性和豐富的ODBC/JDBC/Rest API接口，使得多維分析應(yīng)用從傳統(tǒng)數(shù)據(jù)倉庫平臺遷移到Hadoop平臺的成本低，周期短。

解決方案優(yōu)勢/帶給客戶的好處:

Kyligence能夠滿足超寬表，超高基維度（***~億級），超多維度組合（百級維度數(shù)），無容量上限的Cube構(gòu)建需求，通過Hadoop強大的并行計算能力加速Cube構(gòu)建時間，同時基于Kyligence獨有的列式存儲引擎技術(shù)，使得Cube的查詢性能在秒級實現(xiàn)，從而支撐更廣泛的業(yè)務(wù)應(yīng)用和更佳的用戶體驗；另外，Kyligence提供線性擴展能力，輕松實現(xiàn)1000+的高并發(fā)支撐能力，使得多維分析平臺開放給更廣泛的業(yè)務(wù)群體成為可能，從而進一步提升企業(yè)運營和管理效率。

收益：
• 秒級查詢性能：查詢性能提升了約2000倍，平均達到5秒

• 更佳的Cube構(gòu)建：Cube構(gòu)建時間減少了75%

• Kyligence支持權(quán)限數(shù)據(jù)和Cube數(shù)據(jù)分離存儲，遷移后Cube數(shù)量降低到幾十個，減輕了運維的壓力

• Kyligence同時支持Cube多維分析和明細數(shù)據(jù)查詢，大大簡化了原有的開發(fā)工作量

• 支持高并發(fā)查詢：單節(jié)點單實例50并發(fā)/秒，且并發(fā)量可以根據(jù)業(yè)務(wù)增長需要進行水平擴展。

解決方案使用場景和案例:

案例

以某全國級金融企業(yè)為例，在全國有上億客戶，每天的交易明細數(shù)據(jù)超過10億，一直以來深受傳統(tǒng)數(shù)倉在數(shù)據(jù)容量、查詢性能方面的限制，在將數(shù)據(jù)遷往Hadoop平臺后，選擇了Kyligence產(chǎn)品來建設(shè)其企業(yè)級多維分析平臺。

痛點：

• ***的Cube每天構(gòu)建時間超過20小時，業(yè)務(wù)部門只能看到2天以前的數(shù)據(jù)

• 基于Cube的單次多維分析需要1小時才能返回結(jié)果，嚴重影響業(yè)務(wù)部門的工作效率和正常分析流程

• 將Cube數(shù)據(jù)固化成報表文件來提升查詢性能，帶來大量額外維護成本的同時，徹底喪失了通過Cube進行OLAP多維分析的靈活性

• 由于權(quán)限管理問題，同一類Cube要為全國30多個省分行建立副本，導(dǎo)致Cube數(shù)量達到2000+，大大增加了IT部門的運維難度和工作量

解決方案：

• 數(shù)據(jù)處理：業(yè)務(wù)數(shù)據(jù)存儲在Hive中，通過Kyligence構(gòu)建Cube

• 固定報表：通過BI報表工具連接Kyligence進行報表定制

• 數(shù)據(jù)探索：通過數(shù)據(jù)探索工具Kyligence Insight for Superset連接Kyligence進行數(shù)據(jù)可視化分析