開源 I/O 追蹤工具 iodump 排查 Linux 系統(tǒng)各種 IO 問題的利器
作者：IT運維技術圈
iodump 是一個開源工具，旨在幫助 Linux 系統(tǒng)用戶排查 I/O 相關問題。其最獨特的功能是能夠顯示讀/寫文件的完整路徑，這對于診斷 I/O 瓶頸非常有用。
介紹
iodump 是一個開源工具，旨在幫助 Linux 系統(tǒng)用戶排查 I/O 相關問題。它利用內核 tracepoint 靜態(tài)探針技術，捕獲每個 I/O 操作（讀/寫）的詳細信息，包括 I/O 請求大小、扇區(qū)地址、發(fā)生時間、讀/寫文件的完整路徑、生成請求的進程、系統(tǒng)調用以及擴展 I/O 類型。其最獨特的功能是能夠顯示讀/寫文件的完整路徑，這對于診斷 I/O 瓶頸非常有用。
技術架構概覽
iodump通過Linux內核的blktrace機制實現(xiàn)低損耗監(jiān)控，其核心組件包含：
- 內核模塊：注冊tracepoint回調函數(shù)
- 用戶空間daemon：解析/proc/kmsg日志
- 路徑解析器：通過inode反向查找文件路徑
技術亮點：
- 采用fnotify機制實時跟蹤文件打開事件
- 實現(xiàn)inode到路徑的LRU緩存（默認512條目）
- 支持EXT4/XFS/Btrfs主流文件系統(tǒng)
安裝部署指南
二進制安裝（AnolisOS 8+）：
- sudo yum install iodump
+ sudo dnf install iodump-kmod --enablerepo=Plus
# 驗證內核模塊加載
sudo lsmod | grep iodump源碼編譯安裝：
git clone https://gitee.com/anolis/iodump.git
cd iodump
# 編譯內核模塊（需對應kernel-devel包）
make -C /lib/modules/$(uname -r)/build M=$PWD modules
# 安裝用戶空間工具
sudo cp iodump /usr/local/bin/生產環(huán)境應用
基礎監(jiān)控場景：
# 監(jiān)控sdb設備I/O，采樣率10%（100ms窗口）
sudo iodump -p sdb --sample 10 -t 3600高級診斷用例：
# 捕獲超過1MB的寫操作（需內核5.3+）
sudo iodump -p nvme0n1 -f 'iosize > 1048576 && rw == W' -o csv性能影響測試：
# 壓力測試期間監(jiān)控（fio并行）
fio --name=test --ioengine=libaio --rw=randread --bs=4k &
sudo iodump -p sda -s /tmp/io.log輸出數(shù)據分析
典型輸出結構：
timestamp,pid,comm,iosize,rw,lba,path
1630456789.312,3141,mysql,16384,R,0x38d200,/var/lib/mysql/ibdata1數(shù)據分析方法：
import pandas as pd
df = pd.read_csv('io.log')
# 計算各進程IOPS
iops = df.groupby(['pid','comm']).size().sort_values(ascending=False)
# 識別大文件順序寫
large_writes = df[(df['iosize']>65536) & (df['rw']=='W')]技術限制與優(yōu)化
兼容性列表：
發(fā)行版 | 最低內核版本 | 驗證狀態(tài) |
AnolisOS 8.6 | 4.19.91 | ?通過 |
CentOS 7.9 | 3.10.0 | ??部分 |
Ubuntu 22.04 | 5.15.0 | ?通過 |
已知限制：
- 路徑解析延遲：極端情況下dentry解析可能增加3-5μs延遲[^2]
- 內存消耗：每個I/O事件約占用256B，百萬IOPS需預留256MB緩存
- 內核兼容性：路徑回溯功能需kernel ≥4.2
性能優(yōu)化建議：
# 調整內核緩存參數(shù)（/etc/sysctl.conf）
kernel.iodump_buffer_size = 1048576 # 1MB緩存
kernel.iodump_flush_interval = 100 # 100ms刷盤間隔安全警告
本工具可能觸發(fā)內核oops事件，建議在測試環(huán)境驗證以下場景：
- 高IOPS壓力測試（>50k/s）
- 長路徑文件操作（路徑深度>256）
- 并發(fā)容器場景
# 崩潰后恢復命令
sudo rmmod iodump_ko && systemctl restart kdump地址
https://github.com/os-health/iodump
責任編輯：趙寧寧
來源：
IT運維技術圈
