Pandas DataFrame 數據存儲格式比較
作者：Chanon Krittapholcha
Pandas 支持多種存儲格式，在本文中將對不同類型存儲格式下的Pandas Dataframe的讀取速度、寫入速度和大小的進行測試對比。
Pandas 支持多種存儲格式，在本文中將對不同類型存儲格式下的Pandas Dataframe的讀取速度、寫入速度和大小的進行測試對比。
創(chuàng)建測試Dataframe
首先創(chuàng)建一個包含不同類型數據的測試Pandas Dataframe。
import pandas as pd
import random
import string
import numpy as np
# Config DF
df_length= 10**6
start_date= '2023-01-01'
all_string= list(string.ascii_letters + string.digits)
string_length= 10**1
min_number= 0
max_number= 10**3
# Create Columns
date_col= pd.date_range(start= start_date, periods= df_length, freq= 'H')
str_col= [''.join(np.random.choice(all_string, string_length)) for i in range(df_length)]
float_col= np.random.rand(df_length)
int_col= np.random.randint(min_number,max_number, size = df_length)
# Create DataFrame
df= pd.DataFrame({'date_col' : date_col,
'str_col' : str_col,
'float_col' : float_col,
'int_col' : int_col})
df.info()
df.head()以不同的格式存儲
接下來創(chuàng)建測試函數，以不同的格式進行讀寫。
import time
import os
def check_read_write_size(df, file_name, compressinotallow= None) :
format= file_name.split('.')[-1]
# Write
begin= time.time()
if file_name.endswith('.csv') : df.to_csv(file_name, index= False, compressinotallow= compression)
elif file_name.endswith('.parquet') : df.to_parquet(file_name, compressinotallow= compression)
elif file_name.endswith('.pickle') : df.to_pickle(file_name, compressinotallow= compression)
elif file_name.endswith('.orc') : df.to_orc(file_name)
elif file_name.endswith('.feather') : df.to_feather(file_name)
elif file_name.endswith('.h5') : df.to_hdf(file_name, key= 'df')
write_time= time.time() - begin
# Read
begin= time.time()
if file_name.endswith('.csv') : pd.read_csv(file_name, compressinotallow= compression)
elif file_name.endswith('.parquet') : pd.read_parquet(file_name)
elif file_name.endswith('.pickle') : pd.read_pickle(file_name, compressinotallow= compression)
elif file_name.endswith('.orc') : pd.read_orc(file_name)
elif file_name.endswith('.h5') : pd.read_hdf(file_name)
read_time= time.time() - begin
# File Size
file_size_mb = os.path.getsize(file_name) / (1024 * 1024)
return [format, compression, read_time, write_time, file_size_mb]然后運行該函數并將結果存儲在另一個Pandas Dataframe中。
test_case= [
['df.csv','infer'],
['df.csv','gzip'],
['df.pickle','infer'],
['df.pickle','gzip'],
['df.parquet','snappy'],
['df.parquet','gzip'],
['df.orc','default'],
['df.feather','default'],
['df.h5','default'],
]
result= []
for i in test_case :
result.append(check_read_write_size(df, i[0], compressinotallow= i[1]))
result_df= pd.DataFrame(result, columns= ['format','compression','read_time','write_time','file_size'])
result_df測試結果
下面的圖表和表格是測試的結果。
我們對測試的結果做一個簡單的分析
CSV
- 未壓縮文件的大小最大
- 壓縮后的尺寸很小，但不是最小的
- CSV的讀取速度和寫入速度是最慢的
Pickle
- 表現(xiàn)得很平均
- 但壓縮寫入速度是最慢的
Feather
最快的讀寫速度，文件的大小也是中等，非常的平均
ORC
- 所有格式中最小的
- 讀寫速度非常快，幾乎是最快的
Parquet
總的來說，快速并且非常小，但是并不是最快也不是最小的
總結
從結果來看，我們應該使用ORC或Feather，而不再使用CSV ?是嗎？
“這取決于你的系統(tǒng)?！?/span>
如果你正在做一些單獨的項目，那么使用最快或最小的格式肯定是有意義的。
但大多數時候，我們必須與他人合作。所以，除了速度和大小，還有更多的因素。
未壓縮的CSV可能很慢，而且最大，但是當需要將數據發(fā)送到另一個系統(tǒng)時，它非常容易。
ORC作為傳統(tǒng)的大數據處理格式（來自Hive）對于速度的和大小的優(yōu)化是做的最好的，Parquet比ORC更大、更慢，但是它卻是在速度和大小中取得了最佳的平衡，并且支持他的生態(tài)也多，所以在需要處理大文件的時候可以優(yōu)先選擇Parquet。
責任編輯：華軒
來源：
DeepHub IMBA
