在Heap中，我們依靠PostgreSQL支撐大多數(shù)后端繁重的任務(wù)，我們存儲(chǔ)每個(gè)事件為一個(gè)hstore blob，我們?yōu)槊總€(gè)跟蹤的用戶維護(hù)一個(gè)已完成事件的PostgreSQL數(shù)組，并將這些事件按時(shí)間排序。 Hstore能夠讓我們以靈活的方式附加屬性到事件中，而且事件數(shù)組賦予了我們強(qiáng)大的性能，特別是對(duì)于漏斗查詢，在這些查詢中我們計(jì)算不同轉(zhuǎn)化渠道步驟間的輸出。

在這篇文章中，我們看看那些意外接受大量輸入的PostgreSQL函數(shù)，然后以高效，慣用的方式重寫(xiě)它。 

你的***反應(yīng)可能是將PostgreSQL中的數(shù)組看做像C語(yǔ)言中對(duì)等的類似物。你之前可能用過(guò)變換陣列位置或切片來(lái)操縱數(shù)據(jù)。不過(guò)要小心，在PostgreSQL中不要有這樣的想法，特別是數(shù)組類型是變長(zhǎng)的時(shí)，比如JSON、文本或是hstore。如果你通過(guò)位置來(lái)訪問(wèn)PostgreSQL數(shù)組，你會(huì)進(jìn)入一個(gè)意想不到的性能暴跌的境地。

-- This is slow, and you don't want to use it! 
-- 
-- Filter an array of events such that there is only one event with each event_id. 
-- When more than one event with the same event_id is present, take the latest one. 
CREATE OR REPLACE FUNCTION dedupe_events_1(events HSTORE[]) RETURNS HSTORE[] AS $$ 
  SELECT array_agg(event) 
  FROM ( 
    -- Filter for rank = 1, i.e. select the latest event for any collisions on event_id. 
    SELECT event 
    FROM ( 
      -- Rank elements with the same event_id by position in the array, descending. 
      SELECT events[sub] AS event, sub, rank() 
      OVER (PARTITION BY (events[sub] -> 'event_id')::BIGINT ORDER BY sub DESC) 
      FROM generate_subscripts(events, 1) AS sub 
    ) deduped_events 
    WHERE rank = 1 
    ORDER BY sub ASC 
  ) to_agg; 
$$ LANGUAGE SQL IMMUTABLE; 

在這邊究竟發(fā)生了什么呢? 關(guān)鍵在于PostgreSQL存貯了一個(gè)系列的hstores作為數(shù)組的值, 而不是指向值的指針. 一個(gè)包含了三個(gè)hstores的數(shù)組看起來(lái)像
{“event_id=>1,data=>foo”, “event_id=>2,data=>bar”, “event_id=>3,data=>baz”}
相反的是
{[pointer], [pointer], [pointer]}
 

對(duì)于那些長(zhǎng)度不一的變量, 舉個(gè)例子. hstores, json blobs, varchars,或者是 text fields, PostgreSQL 必須去找到每一個(gè)變量的長(zhǎng)度. 對(duì)于evaluateevents[2], PostgreSQL 解析從左側(cè)讀取的事件直到讀取到第二次讀取的數(shù)據(jù). 然后就是 forevents[3], 她再一次的從***個(gè)索引處開(kāi)始掃描,直到讀到第三次的數(shù)據(jù)! 所以, evaluatingevents[sub]是 O(sub), 并且 evaluatingevents[sub]對(duì)于在數(shù)組中的每一個(gè)索引都是 O(N²), N是數(shù)組的長(zhǎng)度.

PostgreSQL能得到更加恰當(dāng)?shù)慕馕鼋Y(jié)果,  它可以在這樣的情況下分析該數(shù)組一次. 真正的答案是可變長(zhǎng)度的元素與指針來(lái)實(shí)現(xiàn)，以數(shù)組的值, 以至于,我們總能夠處理 evaluateevents[i]在不變的時(shí)間內(nèi).

即便如此，我們也不應(yīng)該讓PostgreSQL來(lái)處理，因?yàn)檫@不是一個(gè)地道的查詢。除了generate_subscripts我們可以用unnest，它解析數(shù)組并返回一組條目。這樣一來(lái)，我們就不需要在數(shù)組中顯式加入索引了。

-- Filter an array of events such that there is only one event with each event_id. 
-- When more than one event with the same event_id, is present, take the latest one. 
CREATE OR REPLACE FUNCTION dedupe_events_2(events HSTORE[]) RETURNS HSTORE[] AS $$ 
  SELECT array_agg(event) 
  FROM ( 
    -- Filter for rank = 1, i.e. select the latest event for any collisions on event_id. 
    SELECT event 
    FROM ( 
      -- Rank elements with the same event_id by position in the array, descending. 
      SELECT event, row_number AS index, rank() 
      OVER (PARTITION BY (event -> 'event_id')::BIGINT ORDER BY row_number DESC) 
      FROM ( 
        -- Use unnest instead of generate_subscripts to turn an array into a set. 
        SELECT event, row_number() 
        OVER (ORDER BY event -> 'time') 
        FROM unnest(events) AS event 
      ) unnested_data 
    ) deduped_events 
    WHERE rank = 1 
    ORDER BY index ASC 
  ) to_agg; 
$$ LANGUAGE SQL IMMUTABLE;