不要讓您的云應(yīng)用程序數(shù)據(jù)被破壞
Optim Data Privacy 包含一組數(shù)據(jù)隱私功能提供程序，它們能夠屏蔽或替換各種信息類型，比如信用卡號(hào)、日期和一些國(guó)家的全國(guó)性 ID。這些數(shù)據(jù)隱私功能提供程序是跨平臺(tái)和跨環(huán)境的，被實(shí)現(xiàn)為一系列共享庫(kù)，而且可由所有支持 C 語(yǔ)言調(diào)用約定的應(yīng)用程序調(diào)用。
SQL Database (SQLDB) 在 Bluemix 上提供了 IBM DB2 Enterprise Server Edition 10.5 版的一個(gè)基于云的實(shí)例，這是 IBM 的開放云架構(gòu)的一種實(shí)現(xiàn)，該實(shí)現(xiàn)利用了 Cloud Foundry 使開發(fā)人員能夠快速構(gòu)建、部署和管理云應(yīng)用程序。因?yàn)?SQLDB 屬于 DB2，所以 Optim Data Privacy 特性可以在配備的數(shù)據(jù)庫(kù)實(shí)例中提供。
在本教程中您將會(huì)看到，Bluemix 和 Optim 提供了必要的工具和技術(shù)，幫助您在應(yīng)用程序中構(gòu)建有效的數(shù)據(jù)隱私保護(hù)。
您需要滿足的前提條件
要完成本教程的學(xué)習(xí)，您應(yīng)該對(duì)面向?qū)ο蟮脑O(shè)計(jì)和開發(fā)具有充分的理解。還應(yīng)該基本熟悉 JEE Servlet 和關(guān)聯(lián)的應(yīng)用編程接口 (API)。因?yàn)樵搼?yīng)用程序使用了 JDBC 和 SQL，所以了解該 API 和如何編寫 SQL 語(yǔ)句會(huì)對(duì)您有所幫助。
如果不熟悉 SQLDB，可以在 SQL Database 入門 中了解有關(guān)的基本知識(shí)。“數(shù)據(jù)隱私特性” 一節(jié)包含一組用戶定義的函數(shù)和主要用例。下面將簡(jiǎn)短介紹用戶定義的函數(shù)和數(shù)據(jù)隱私特性。
用戶定義的函數(shù)
用戶定義的函數(shù) (UDF) 是一種由用戶提供的自定義函數(shù)，可像內(nèi)置函數(shù)（比如 ABS、CONCAT 和 SUBSTR）一樣從 SQL 語(yǔ)句調(diào)用。Optim Data Privacy UDF 是標(biāo)量函數(shù)，它們接受一個(gè)值和一個(gè)屏蔽規(guī)范字符串作為輸入，返回一個(gè)經(jīng)過(guò)屏蔽的值。
標(biāo)量函數(shù)（內(nèi)置的和 UDF）可用在任何可合法使用列引用或文字的 SQL 語(yǔ)句中。下面這個(gè)示例返回一組屏蔽的信用卡號(hào)。
單 1. UDF 使用示例
- SELECT
- DB2INST1.OptimMaskStr(CREDITCARD_NUMBER,'pro=ccn,method=repeatable, \
- pattern=6C,wheninvalid=preserve,flddef1=(name=c1,dt=varchar)'),
- FROM USER01.OPTIM_CUSTOMERS
在 Bluemix 中，Optim UDF 安裝在 DB2INST1 SQL Database 目錄中，所以函數(shù)名稱必須按上述方式進(jìn)行限定。所有 Optim UDF 的名稱都以 OptimMask 開頭，以便與其他 UDF 進(jìn)行區(qū)分。函數(shù)名稱的后綴表明它接受的數(shù)據(jù)類型。
在本例中，Str 指一個(gè)字符串，比如 CHAR 或 VARCHAR。其他后綴包括 Date（接受一個(gè)日期）和 Int16 和 Int32（分別接受 16 和 32 位整數(shù)）。
數(shù)據(jù)隱私特性
Optim Data Privacy 提供程序能夠屏蔽許多不同類型的信息。各種 UDF 可通過(guò)屏蔽作為一個(gè)輸入?yún)?shù)傳遞的規(guī)范字符串，指定要屏蔽的信息類型。
親緣性隱私功能提供程序
可使用親緣性隱私功能提供程序來(lái)屏蔽數(shù)據(jù)，同時(shí)保持來(lái)源值的格式和字符類型。例如，該提供程序可以保持?jǐn)?shù)據(jù)的格式，比如帳號(hào)或駕照編號(hào)，同時(shí)使用字符數(shù)據(jù)屏蔽字符數(shù)據(jù)，使用數(shù)字屏蔽數(shù)字。
年齡隱私功能提供程序
可使用年齡隱私功能提供程序屏蔽一個(gè)來(lái)源字段中的年齡值。來(lái)源值可包含字符、數(shù)字、日期或時(shí)間戳數(shù)據(jù)，但必須始終表示一個(gè)日期，比如生日。
信用卡隱私功能提供程序
可以使用信用卡隱私功能提供程序來(lái)生成一個(gè)有效且惟一的信用卡號(hào) (CCN)。在默認(rèn)情況下，該提供程序使用了一種可重復(fù)的方法，通過(guò)算法基于來(lái)源 CCN 生成一個(gè)經(jīng)過(guò)一致地修改的 CCN。在來(lái)源數(shù)據(jù)沒(méi)有 CCN 值時(shí)，或者不需要以一致的方式轉(zhuǎn)換來(lái)源 CCN 時(shí)，該提供程序還可以生成一個(gè)隨機(jī)值。
電子郵件隱私功能提供程序
可以使用電子郵件隱私功能提供程序生成一個(gè)電子郵件地址。電子郵件地址由兩部分組成，一個(gè)用戶名和一個(gè)域名，它們之間使用 @ 符號(hào)分開。例如 user@domain.com。
哈希隱私功能提供程序
可使用哈希隱私功能提供程序，使用一個(gè)哈希算法生成的數(shù)字值屏蔽來(lái)源數(shù)據(jù)?？梢赃@些數(shù)字值為基礎(chǔ)，提供來(lái)自查找表或一個(gè)值數(shù)組的替換數(shù)據(jù)。
全國(guó)性 ID 隱私功能提供程序
可以使用全國(guó)性 ID 隱私功能提供程序屏蔽全國(guó)性 ID 編號(hào)，比如美國(guó)社會(huì)安全編號(hào)。該提供程序可以使用保留了部分來(lái)源值的可重復(fù)方法，或者使用不會(huì)保留來(lái)源值的任何部分的隨機(jī)方法來(lái)屏蔽全國(guó)性 ID 編號(hào)。該提供程序還包含輸出值的多個(gè)分隔符選項(xiàng)（斜杠、句點(diǎn)、空格或無(wú)分隔符）。
其他隱私功能提供程序
Optim Data Privacy 提供程序庫(kù)還包含用于對(duì)通常無(wú)法通過(guò)算法屏蔽的信息類型（比如姓名和地址）執(zhí)行查找操作的提供程序。但是，大多數(shù)關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng) (RDMS) 都不允許從 SQL UDF 內(nèi)訪問(wèn)數(shù)據(jù)庫(kù)表，所以要執(zhí)行查找，需要使用哈希隱私功能提供程序，并使用該哈希值作為鍵來(lái)選擇查找替換值，比如通過(guò)聯(lián)結(jié) (join)。
- String vcapServices = System.getenv("VCAP_SERVICES");
- if (vcapServices != null) {
- context.log("Has VCAP_SERVICES.");
- String vcapKey =
- context.getInitParameter(InitParameterNames.VCAP_KEY);
- if (vcapKey != null) {
- context.log("The VCAP key is '" + vcapKey + "'");
- }
- JsonParser parser = new JsonParser();
- try {
- JsonObject services = parser.parse(vcapServices).getAsJsonObject();
- JsonArray array = null;
- JsonObject service = null;
- if (vcapKey != null) {
- context.log("Looking up service '" + vcapKey + "'...");
- JsonElement element = services.get(vcapKey);
- if (element != null) {
- context.log("Service '" + vcapKey + "' found.");
- array = element.getAsJsonArray();
- }
- }
- if (array == null) {
- context.log("Using first available service...");
- Set<Entry<String, JsonElement>> entrySet = services.entrySet();
- Iterator<Entry<String, JsonElement>> iterator =
- entrySet.iterator();
- if (iterator.hasNext()) {
- Entry<String, JsonElement> entry = iterator.next();
- JsonElement element = entry.getValue();
- array = element.getAsJsonArray();
- } else {
- context.log("No services defined.");
- }
- }
- if (array != null) {
- if (array.size() > 0) {
- service = array.get(0).getAsJsonObject();
- String name = service.get("name").getAsString();
- context.log("Service name is '" + name + "'.");
- String label = service.get("label").getAsString();
- context.log("Service label is '" + label + "'.");
- String plan = service.get("plan").getAsString();
- context.log("Service plan is '" + plan + "'.");
- JsonObject credentials =
- service.get("credentials").getAsJsonObject();
- url = credentials.get("jdbcurl").getAsString();
- context.log("URL is '" + url + "'.");
- user = credentials.get("username").getAsString();
- context.log("User is '" + user + "'.");
- password = credentials.get("password").getAsString();
- context.log("Password is '" + password + "'.");
- }
- }
- } catch (Exception e) {
- context.log("Error parsing VCAP_SERVICES", e);
- }
- }
從 VCAP_SERVICES 獲得連接 URL 和憑據(jù)后，連接到 SQL Database 就像使用 JDBC 連接到 DB2 LUW 一樣：
清單 3. 連接到 SQL Database
- connection = null;
- ApplicationConfiguration configuration = getConfiguration();
- try {
- connection = DriverManager.getConnection(
- configuration.getUrl(),
- configuration.getUser(),
- configuration.getPassword());
- log("Connected to database.");
- } catch (SQLException e) {
- log("Unable to connect to database.", e);
- }
演示應(yīng)用程序支持使用清單 6 中所示的 CREATE TABLE AS VIEW 機(jī)制來(lái)創(chuàng)建一個(gè)包含敏感信息的表的副本。像其他 JDBC 應(yīng)用程序一樣，這些步驟非常簡(jiǎn)單：
- 構(gòu)建要執(zhí)行的 SQL。
- 從連接中獲?。ɑ蛑赜茫┮粋€(gè) SQL 語(yǔ)句。
- 執(zhí)行該 SQL。
清單 4. 獲取該 SQL 語(yǔ)句
- Connection connection = connectionManager.getConnection();
- if (connection == null) {
- thrownew IllegalStateException("Database connection not available");
- }
- if (connection != this.connection) {
- log("Connection is new or has changed - creating new statement.");
- this.connection = connection;
- if (statement != null) {
- try {
- statement.close();
- } catch (SQLException e) {
- // Ignore.
- }
- }
- statement = connection.createStatement();
- }
- return statement;
清單 5. 執(zhí)行該 SQL 語(yǔ)句
- Statement statement = getStatement();
- return statement.executeUpdate(sql);
#p#
創(chuàng)建一個(gè)屏蔽的表副本涉及兩個(gè)步驟：
- 創(chuàng)建新表。
- 插入來(lái)自原始表的數(shù)據(jù)，使用 UDF 屏蔽敏感信息。
清單 6. 創(chuàng)建 SQL 來(lái)構(gòu)建新表
- ApplicationConfiguration configuration = getConfiguration();
- return String.format("CREATE TABLE %s.OPTIM_SALES_MASKED AS
- (SELECT * FROM %s.OPTIM_SALES) WITH NO DATA",
- configuration.getSchema(),
- configuration.getSchema());
清單 7. 創(chuàng)建 SQL 來(lái)插入來(lái)自原始表的數(shù)據(jù)
- ApplicationConfiguration configuration = getConfiguration();
- StringBuilder builder = new StringBuilder();
- builder.append(String.format("INSERT INTO %s.OPTIM_SALES_MASKED (\n",
- configuration.getSchema()));
- builder.append(" SALESMAN_ID,\n");
- builder.append(" FIRST_NAME,\n");
- builder.append(" LAST_NAME,\n");
- builder.append(" NATIONALITY,\n");
- builder.append(" NATIONAL_ID,\n");
- builder.append(" PHONE_NUMBER,\n");
- builder.append(" AGE,\n");
- builder.append(" SEX,\n");
- builder.append(" TERRITORY,\n");
- builder.append(" EMAIL_ADDRESS,\n");
- builder.append(" MANAGER_ID\n");
- builder.append(") SELECT SALESMAN_ID,\n");
- builder.append(" FIRST_NAME,\n");
- builder.append(" LAST_NAME,\n");
- builder.append(" NATIONALITY,\n");
- if (configuration.isUseUDFs()) {
- builder.append(" ");
- String udfSchema = configuration.getUdfSchema();
- if (udfSchema != null) {
- builder.append(udfSchema);
- builder.append('.');
- }
- builder.append("OptimMaskStr(NATIONAL_ID,'pro=nid,switch=us,
- wheninvalid=preserve,flddef1=(name=c1,dt=varchar)'),\n");
- } else {
- builder.append(" NATIONAL_ID,\n");
- }
- builder.append(" PHONE_NUMBER,\n");
- builder.append(" AGE,\n");
- builder.append(" SEX,\n");
- builder.append(" TERRITORY,\n");
- builder.append(" EMAIL_ADDRESS,\n");
- builder.append(" MANAGER_ID\n");
- builder.append(String.format(" FROM %s.OPTIM_SALES WHERE NATIONALITY =
- 'U.S.'\n", configuration.getSchema()));
- return builder.toString();
SQL Database DDL
由于 SQL Database 服務(wù)作為基于云的產(chǎn)品的性質(zhì)，該服務(wù)提供的 DB2 數(shù)據(jù)庫(kù)存在多種限制和局限性。最明顯的限制是，目前無(wú)法從云外部連接到 SQL Database 實(shí)例。這使得用戶無(wú)法使用 DB2 命令行實(shí)用程序和其他 SQL 工具（比如 Eclipse）。但 SQL Database 有一個(gè)與 Bluemix 集成的控制臺(tái)提供了此功能。
要啟動(dòng)該控制臺(tái)，需要使用您的憑據(jù)登錄到 Bluemix。這會(huì)調(diào)出您的儀表板。在左側(cè)，可以訪問(wèn)應(yīng)用程序和服務(wù)。單擊 SERVICES 展開該列表并選擇您的 SQL Database 服務(wù)。
圖 1. 您的 Bluemix 儀表板
1.要啟動(dòng)該控制臺(tái)，需要使用您的憑據(jù)登錄到 Bluemix。這會(huì)調(diào)出您的儀表板。在左側(cè)，可以訪問(wèn)應(yīng)用程序和服務(wù)。單擊 SERVICES 展開該列表并選擇您的 SQL Database 服務(wù)。
圖 1. 您的 Bluemix 儀表板
2.這會(huì)打開 SQL 控制臺(tái)的啟動(dòng)面板。單擊 LAUNCH，這會(huì)在瀏覽器中打開一個(gè)新窗口或選項(xiàng)卡。Bluemix 建議采用的默認(rèn)名稱為 mySQLDB。我選擇使用 sqldb。
圖 2. SQL Database 控制臺(tái)啟動(dòng)面板
3.單擊 Work with Database Objects 查看數(shù)據(jù)庫(kù)實(shí)例元數(shù)據(jù)，比如模式、表、視圖和函數(shù)。
圖 3. SQL Database 控制臺(tái)
4.如果有多個(gè) SQL Database 服務(wù)器綁定到您的應(yīng)用程序，那么可以使用 Database: 下拉菜單選擇您想要查看和使用的數(shù)據(jù)庫(kù)。
要?jiǎng)?chuàng)建數(shù)據(jù)庫(kù)表和視圖，可以單擊 Run DDL。
圖 4. 使用數(shù)據(jù)庫(kù)對(duì)象
#p#
5.這會(huì)調(diào)出一個(gè)選項(xiàng)卡，用于鍵入或粘貼 DDL，或者從您的本地文件系統(tǒng)加載一個(gè) SQL 腳本文件。
圖 5. 運(yùn)行 DDL
清單 8. DDL 語(yǔ)句
- ------------------------------------------------
- -- DDL Statements for table "USER01 "."OPTIM_CUSTOMERS"
- ------------------------------------------------
- CREATETABLE "USER01 "."OPTIM_CUSTOMERS" (
- "CUST_ID" CHAR(5) NOTNULL ,
- "CUSTNAME" CHAR(20) NOTNULL ,
- "ADDRESS1" VARCHAR(100) NOTNULL ,
- "ADDRESS2" VARCHAR(100) ,
- "LOCALITY" VARCHAR(56) ,
- "CITY" VARCHAR(60) ,
- "STATE" VARCHAR(30) ,
- "COUNTRY_CODE" CHAR(2) ,
- "POSTAL_CODE" VARCHAR(15) ,
- "POSTAL_CODE_PLUS4" CHAR(4) ,
- "EMAIL_ADDRESS" VARCHAR(70) ,
- "PHONE_NUMBER" VARCHAR(20) ,
- "YTD_SALES" DECIMAL(7,2) NOTNULLWITHDEFAULT ,
- "SALESMAN_ID" CHAR(6) ,
- "NATIONALITY" VARCHAR(30) ,
- "NATIONAL_ID" VARCHAR(30) ,
- "CREDITCARD_NUMBER" VARCHAR(19) ,
- "CREDITCARD_TYPE" VARCHAR(30) ,
- "CREDITCARD_EXP" CHAR(4) ,
- "CREDITCARD_CVV" VARCHAR(4) ,
- "DRIVER_LICENSE" VARCHAR(30) ,
- "CREDITCARD_HISTORY" CLOB(1048576) LOGGED NOT COMPACT )
- IN "USERSPACE1" ;
- -- DDL Statements for indexes on Table "USER01 "."OPTIM_CUSTOMERS"
- CREATEUNIQUEINDEX "USER01 "."XPK_CUST" ON "USER01 "."OPTIM_CUSTOMERS"
- ("CUST_ID" ASC)
- COMPRESS NO ALLOW REVERSE SCANS;
- -- DDL Statements for primary key on Table "USER01 "."OPTIM_CUSTOMERS"
- ALTERTABLE "USER01 "."OPTIM_CUSTOMERS"
- ADDPRIMARYKEY
- ("CUST_ID");
- ------------------------------------------------
- -- DDL Statements for table "USER01 "."OPTIM_SALES"
- ------------------------------------------------
- CREATETABLE "USER01 "."OPTIM_SALES" (
- "SALESMAN_ID" CHAR(6) NOTNULL ,
- "FIRST_NAME" VARCHAR(15) NOTNULL ,
- "LAST_NAME" VARCHAR(15) NOTNULL ,
- "NATIONALITY" VARCHAR(30) ,
- "NATIONAL_ID" VARCHAR(30) ,
- "PHONE_NUMBER" VARCHAR(20) NOTNULL ,
- "AGE" SMALLINTNOTNULLWITHDEFAULT ,
- "SEX" CHAR(1) NOTNULLWITHDEFAULT ,
- "TERRITORY" VARCHAR(14) NOTNULL ,
- "EMAIL_ADDRESS" VARCHAR(70) NOTNULL ,
- "MANAGER_ID" VARCHAR(6) )
- IN "USERSPACE1" ;
- -- DDL Statements for indexes on Table "USER01 "."OPTIM_SALES"
- CREATEUNIQUEINDEX "USER01 "."XPK_SALES" ON "USER01 "."OPTIM_SALES"
- ("SALESMAN_ID" ASC)
- COMPRESS NO ALLOW REVERSE SCANS;
- -- DDL Statements for primary key on Table "USER01 "."OPTIM_SALES"
- ALTERTABLE "USER01 "."OPTIM_SALES"
- ADDPRIMARYKEY
- ("SALESMAN_ID");
加載數(shù)據(jù)
執(zhí)行必要的 DDL 后，可以將任何所需的數(shù)據(jù)加載到數(shù)據(jù)庫(kù)實(shí)例中。演示應(yīng)用程序的數(shù)據(jù)包含兩個(gè)表：
- 客戶數(shù)據(jù)
- 銷售數(shù)據(jù)
這兩個(gè)表包含敏感信息，在真實(shí)世界中，應(yīng)該在用于分析或測(cè)試之前先屏蔽這些信息。
圖 6. 客戶數(shù)據(jù)
圖 7. 銷售數(shù)據(jù)
以下步驟展示了銷售數(shù)據(jù)的加載。
1.單擊控制臺(tái)的 Getting Started 頁(yè)面上的 Load Data，如 圖 3 所示。這會(huì)調(diào)出 Load Data 頁(yè)面。
單擊 Browse files 選擇您的本地文件系統(tǒng)中的一個(gè)文件，其中包含逗號(hào)分隔值 (CSV) 格式的數(shù)據(jù)。一定要為 Row one contains the column names 選擇 No。
使用 table 下拉菜單選擇該表，單擊 Load File 將數(shù)據(jù)上傳到 Bluemix。
圖 8. 瀏覽并上傳數(shù)據(jù)
上傳并解析文件后，會(huì)顯示內(nèi)容的預(yù)覽視圖。單擊 Next 選擇加載目標(biāo)。
圖 9. 上傳的數(shù)據(jù)的預(yù)覽視圖
確保已選擇 Load into an existing table 并單擊 Next。
圖 10. 選擇目標(biāo)
#p#
為數(shù)據(jù)選擇模式 USER01 和目標(biāo)表。您會(huì)看到一個(gè)列出了表列的彈出窗口，在確認(rèn)您已選擇正確的表后，可以關(guān)閉此彈窗。
圖 11. 選擇表
如果該表已在上面的 運(yùn)行 DDL 步驟中創(chuàng)建，那么是附加數(shù)據(jù)還是替換數(shù)據(jù)沒(méi)有任何區(qū)別。如果該表之前已加載，而且您希望重新開始，那么可以選擇 Replace any data in the table with new data，然后單擊 Finish。
Bluemix 將數(shù)據(jù)加載到表中后，您將獲得一個(gè)表明加載、拒絕、刪除和跳過(guò)的行數(shù)的狀態(tài)，以及一個(gè)表預(yù)覽視圖。
圖 12. 選擇加載選項(xiàng)
加載了客戶和銷售數(shù)據(jù)后，演示應(yīng)用程序就可以使用數(shù)據(jù)庫(kù)了。
圖 13. 加載完成
部署和測(cè)試您的應(yīng)用程序
可以使用 Cloud Foundry cf 命令行實(shí)用程序 部署 Web 應(yīng)用程序歸檔文件 (WAR)。
- 在可以部署（推送）應(yīng)用程序之前，必須登錄到您的 API 端點(diǎn)：
- 可以推送一個(gè)
.war文件或一個(gè)目錄的內(nèi)容（布局類似于一個(gè).war文件）。在本例中，只需推送.war文件： - 也可以使用 cf 查詢部署的應(yīng)用程序和它們使用的服務(wù)：
- 完成上述操作后，您應(yīng)該注銷：
- 應(yīng)用程序被推送到 Bluemix 后，可以從 Web 瀏覽器通過(guò) http://<app name>.mybluemix.net/ 訪問(wèn)它。
單擊 Mask Customer Credit Card Numbers 或 Mask Sales Social Security Numbers。
圖 14. 演示應(yīng)用程序
在下一個(gè)屏幕上，單擊 Mask Social Security Numbers。
圖 15. 未屏蔽的銷售數(shù)據(jù)
預(yù)覽將執(zhí)行的 3 個(gè)步驟： 然后單擊 Perform Steps and Compare。
圖 16. 屏蔽銷售錯(cuò)誤
- 丟棄包含屏蔽的數(shù)據(jù)的表（如果存在）。
- 創(chuàng)建將包含屏蔽的數(shù)據(jù)的表。
- 發(fā)出一個(gè)語(yǔ)句來(lái)插入銷售數(shù)據(jù)，同時(shí)屏蔽社會(huì)安全編號(hào)。
- 檢查屏蔽的數(shù)據(jù)，您可能注意到，所有社會(huì)安全編號(hào)都與原始編號(hào)不同。
圖 17. 屏蔽的銷售數(shù)據(jù)
結(jié)束語(yǔ)
隨著有關(guān)數(shù)據(jù)隱私的法律法規(guī)得到更多的關(guān)注，企業(yè)擁有具有數(shù)據(jù)屏蔽功能的應(yīng)用程序變得至關(guān)重要。如本教程所示，IBM Bluemix 和 Optim 提供了必要的技術(shù)和工具來(lái)幫助您構(gòu)建這些應(yīng)用程序。
原文出自：http://www.ibm.com/developerworks/cn/cloud/library/cl-optimprivacy-app/index.html
