三維建模，大數(shù)據(jù)存儲是核心

“測繪行業(yè)關(guān)乎國計民生、兩型社會、霧霾治理、智慧城市‘網(wǎng)格化’，以及互聯(lián)網(wǎng)、物聯(lián)網(wǎng)關(guān)聯(lián)服務業(yè)的發(fā)展，理應成為大數(shù)據(jù)應用的開路先鋒。為此，我們以提升核心競爭力為著力點，確定了以全方位立體快速數(shù)據(jù)采集能力、海量數(shù)據(jù)快速獲取能力和地理實體數(shù)字三維重建技術(shù)為核心的發(fā)展思路。”測繪院技術(shù)負責人全面介紹了“三維空間藍圖”的由來。

[[130316]]

崀山國家地質(zhì)公園數(shù)字景觀三維建模成果圖：鯨魚鬧海

他同時還表示，“三維建模全面應用會在數(shù)據(jù)存儲和應用方面遇到挑戰(zhàn)，必須消除之前不利于業(yè)務發(fā)展的因素，重新構(gòu)建符合新應用、新業(yè)務需求的大數(shù)據(jù)存儲系統(tǒng)。”那么，在某省測繪院用集體智慧構(gòu)建的未來發(fā)展戰(zhàn)略中，數(shù)據(jù)存儲與管理遇到了什么問題，又為何被稱為“不利因素”呢?

“共享難、效率低、安全差、容量小”，四大阻礙亟需突破

深入溝通之后發(fā)現(xiàn)，測繪院原有的數(shù)據(jù)存儲應用模式影響著持續(xù)創(chuàng)新和業(yè)務發(fā)展的速度。雖然技術(shù)人員嘗試過數(shù)據(jù)存儲和管理方式的改變，但一系列問題卻在改變中接踵而至。

存儲管理方面“先開刀”的是數(shù)據(jù)共享和訪問方式。據(jù)了解，該院下設8個職能科室、8個生產(chǎn)單位，但之前80%的單位數(shù)據(jù)存儲設備都比較落后，5個科室甚至還在使用傳統(tǒng)的服務器本地直連形式，在數(shù)據(jù)共享和管理方面已經(jīng)完全滿足不了業(yè)務發(fā)展的需求。

為了實現(xiàn)更方便的數(shù)據(jù)共享訪問，某省測繪院采用了數(shù)據(jù)集中管理模式，將數(shù)據(jù)統(tǒng)一放在數(shù)據(jù)中心，但隨之而來又出現(xiàn)了性能和安全方面的問題。

在性能方面，數(shù)十個部門、上百人同時訪問，帶寬爭用和訪問響應速度緩慢的問題出現(xiàn)了，這讓很多用戶開始抱怨。而之前的存儲系統(tǒng)無法感知存儲類型，不能優(yōu)化大型非結(jié)構(gòu)化數(shù)據(jù)的存儲模式，導致重復數(shù)據(jù)越來越多，訪問效率越用越低。

在數(shù)據(jù)安全可靠性方面，也與之前的情形截然不同。據(jù)了解，該院的存儲數(shù)據(jù)主要來自于8個生產(chǎn)單位，最終的成果資料交由8個職能科室之一的生產(chǎn)技術(shù)科來管理和保密。但在共享模式下采集的數(shù)據(jù)如果丟失，將是人力物力財力的極大浪費，尤其是在國際化信息安全趨勢持續(xù)惡劣的當下，關(guān)乎國民生計的地理信息測數(shù)據(jù)繪絕不能被非法人員竊取。

“上述問題是隨著需求變化和應用調(diào)整產(chǎn)生的，這為我們列出了‘管理、性能、安全’三項新需求。除此以外，三維重建技術(shù)應用，更要解決數(shù)據(jù)存儲容量的問題。”該技術(shù)負責人說，“測繪工作采集了大量非結(jié)構(gòu)化數(shù)據(jù)，經(jīng)過長時間積累可能達到PB級別，尤其是三維建模采集的數(shù)據(jù)量更大，從二維圖形到三維圖形數(shù)據(jù)量的增長是幾何倍數(shù)級的。”

一線調(diào)研洞悉需求，AS3000支撐測繪大數(shù)據(jù)存儲

“他們能夠深入到業(yè)務工作的一線，走訪到每個單位和科室，在這種細致的需求調(diào)查基礎上，呈交上了一份可以解決問題、滿足業(yè)務發(fā)展、支撐‘三維空間藍圖’戰(zhàn)略的解決方案。”技術(shù)負責人對浪潮工程師的工作態(tài)度和解決方案都十分滿意。他表示，“前期設計方案從四個問題入手，整體性很強。重細節(jié)、看發(fā)展，這是我們最終采用浪潮測繪大數(shù)據(jù)存儲解決方案的原因。”

根據(jù)客戶數(shù)據(jù)中心的特點、業(yè)務部門的需求，浪潮提出利用海量集群NAS 控制器AS3000搭配浪潮高性能磁盤柜、萬兆交換網(wǎng)絡、光纖交換網(wǎng)絡，提供PB級數(shù)據(jù)存儲、共享特性、高效安全可擴展的測繪大數(shù)據(jù)解決方案。

某省測繪院存儲系統(tǒng)整體解決方案

本次方案配置8個AS3000控制節(jié)點，其中2個為元數(shù)據(jù)控制節(jié)點，實現(xiàn)元數(shù)據(jù)訪問、分布式系統(tǒng)監(jiān)控、日志備份、系統(tǒng)管理功能，控制節(jié)點間采用Active-Active工作模式，保障在一個節(jié)點出現(xiàn)故障時，不影響主機業(yè)務運行;其余6個為數(shù)據(jù)存儲節(jié)點，均配置高速萬兆以太網(wǎng)絡，32GB高速緩存，數(shù)據(jù)節(jié)點也采用Active-Active工作模式，從而保證整個系統(tǒng)的安全性、可靠性、連續(xù)性。另外，方案采用高度模塊化的設計，將控制節(jié)點、數(shù)據(jù)節(jié)點、存儲設備相分離元數(shù)據(jù)與數(shù)據(jù)分離架構(gòu)，確保用戶數(shù)據(jù)的傳輸只發(fā)生在客戶端和數(shù)據(jù)節(jié)點之間。

值得一提的是，存儲系統(tǒng)后端采用浪潮高性能磁盤柜提供648TB超大容量，前端通過雙FC交換網(wǎng)絡連接到AS3000控制器，鏈路冗余充分保障其中一條網(wǎng)絡鏈路故障不影響系統(tǒng)應用。穩(wěn)定可靠的高性能磁盤柜提供了超大的后端存儲帶寬，使得AS3000如虎添翼，打造出了******性能體驗。經(jīng)過現(xiàn)場測試，兩大產(chǎn)品無縫整合，可提供高達6GB的聚合帶寬和在線6000的IOPS，滿足該院所有客戶端同時在線讀取數(shù)據(jù)。

[[130317]]

浪潮AS3000集群NAS存儲系統(tǒng)

在實際運行中，浪潮AS3000集群NAS存儲系統(tǒng)完全并行化的解決方案讓用戶不必再為性能擔憂。針對測繪地理信息的工作流、讀密集型以及大型文件的訪問特點，浪潮AS3000支持單個目錄下文件數(shù)量達到千萬以上，每秒104到105個操作的元數(shù)據(jù)處理吞吐率，即使全院所有客戶端同時讀取同一個目錄下的一個文件，也不會出現(xiàn)卡頓滯留的現(xiàn)象。

在海量數(shù)據(jù)存儲和訪問需求面前，浪潮AS3000獨特的高性能、集群架構(gòu)可實現(xiàn)多控制器的數(shù)據(jù)并發(fā)讀寫，控制器還可根據(jù)用戶需求靈活地實現(xiàn)在線擴展。將“三維空間藍圖”戰(zhàn)略落地，某省測繪院需要保存的數(shù)據(jù)量將會急劇上升，在AS3000多種擴展方式中，雙方溝通后選擇了scale-out方式，即增加數(shù)據(jù)節(jié)點的數(shù)量和后端磁盤柜的數(shù)量，達成了日后性能和容量擴展的規(guī)劃。

從幾小時到幾分鐘，三維建模效率飛速提升

“AS3000是浪潮自主研發(fā)的擁有完全自主知識產(chǎn)權(quán)的海量存儲系統(tǒng)平臺，其完全國產(chǎn)化的背景，可以細分權(quán)限的安全策略，讓我們在數(shù)據(jù)安全保密方面能力大幅提升，有效防止了數(shù)據(jù)被監(jiān)控、被竊取的事件發(fā)生。另外，系統(tǒng)還支持重復數(shù)據(jù)刪除技術(shù)，極大地節(jié)省存儲空間，全院同樣的文件只保存一份，而映射給用戶的是多份，并且不影響用戶的讀取速率體驗。這套安全可擴展的存儲平臺，能夠支撐起我院所有單位的應用業(yè)務，大大提升了我院的工作效率。”項目實施后，測繪院技術(shù)負責人給出了滿意的評價。

那么，與之前相比，工作效率到底提高了多少呢?

在測繪院工作多年的一位測繪工程師表示，“原先的存儲設備面對這類大型非結(jié)構(gòu)化數(shù)據(jù)的讀取和寫入顯得無能為力，這嚴重的影響后期的技術(shù)制作，拖延了模型成果的生成，成為了提升市場競爭力的瓶頸之一。過去，三維地理模型制作時，數(shù)據(jù)的讀取可能需要幾小時的時間，然而現(xiàn)在短短幾分鐘內(nèi)就能完成所需求數(shù)據(jù)的下載與上傳，工作效率提高了十余倍，乃至數(shù)十倍。”