1. 項目概述

dsq 是一個命令行工具，全稱 "DataStation SQL Query"，旨在讓用戶通過 SQL 查詢來處理多種格式的結構化數(shù)據文件，包括 JSON、CSV、Excel、Parquet 等。項目的核心理念是簡化數(shù)據處理流程，讓用戶無需將數(shù)據導入數(shù)據庫即可直接對其執(zhí)行 SQL 查詢。dsq 是 DataStation（一個圖形界面工具）的命令行伴侶，二者共享底層技術棧，但 dsq 專注于命令行用戶，提供輕量、快速的數(shù)據分析能力。

2. 主要功能

(1) 支持多種數(shù)據格式

dsq 支持多種常見數(shù)據格式，例如：

• CSV 和 TSV
• JSON 和換行分隔的 JSON（newline-delimited JSON）
• Excel（xlsx、xls，僅限單表）
• Parquet
• ODS（OpenOffice Calc，僅限單表）
• 日志文件（如 Apache 錯誤日志）
• 用戶可以通過文件擴展名或 MIME 類型指定輸入格式。

(2) SQL 查詢支持

使用 SQLite 的 SQL 方言，用戶可以對數(shù)據執(zhí)行選擇、過濾、分組、連接等操作。

支持多文件查詢，文件被視為表，通過 {N}（N 為文件的 0 基索引）引用。例如：

dsq users.csv ages.json "SELECT {0}.name, {1}.age FROM {0} JOIN {1} ON {0}.id = {1}.id"

這條命令將 CSV 和 JSON 文件連接起來查詢。

(3) 靈活的輸入方式

• 支持通過管道輸入數(shù)據（在 Windows 上除外）。
• 支持直接指定文件路徑。
• 可選緩存功能，通過 --cache 標志將數(shù)據存儲到磁盤以加速后續(xù)查詢。

(4) 輸出格式

• 默認輸出為 JSON（非格式化的“丑陋”JSON）。
• 通過 --pretty 標志可以生成格式化的 JSON 輸出。

3. 技術實現(xiàn)

(1) 底層引擎

dsq 使用 DataStation 作為核心庫，而 DataStation 依賴 SQLite 來處理 SQL 查詢。SQLite 是一個輕量級嵌入式數(shù)據庫，適合處理結構化數(shù)據，同時保持較低的資源占用。

(2) 性能優(yōu)化

• 在最新版本中（例如 v0.23.0），dsq 通過跳過中間 JSON 寫入，直接將文件數(shù)據導入 SQLite，顯著提高了處理大型文件的速度（據官方稱提升約 2 倍）。
• 提供 --no-sqlite-writer 標志，允許用戶回退到舊的處理路徑，以兼容特殊場景。

(3) 局限性

• 對于嵌套對象（nested objects）的支持有限，盡管在 v0.2.0 版本后有所改進。
• Excel 和 ODS 文件僅支持單表處理。
• Windows 上不支持管道輸入，可能限制部分使用場景。

4. 使用場景

(1) 數(shù)據分析師

對于需要快速探索 CSV 或 JSON 數(shù)據的人員，dsq 提供了一個無需復雜配置的工具。例如，分析 NYC Yellow Taxi 數(shù)據集：

dsq taxi.csv "SELECT passenger_count, COUNT(*), AVG(total_amount) FROM {} GROUP BY passenger_count"

(2) 開發(fā)者和系統(tǒng)管理員

處理日志文件或混合格式數(shù)據時，dsq 可以快速提取關鍵信息。例如，分析 Apache 日志中的錯誤模式。

5. 部署指南

(1) 多平臺安裝步驟

# Linux/macOS 快速安裝
curl -L https://dsq.io/install.sh | bash

# Windows PowerShell
iwr https://dsq.io/win-install.ps1 -UseBasicParsing | iex

(2) 容器化部署方案

FROM alpine:3.16
RUN wget https://github.com/multiprocessio/dsq/releases/download/v0.24.0/dsq-linux-amd64 -O /usr/bin/dsq
ENTRYPOINT ["dsq"]

6. 優(yōu)點與缺點

(1) 優(yōu)點

• 輕量便捷：無需外部數(shù)據庫，直接在本地運行。
• 格式廣泛：支持多種數(shù)據格式，覆蓋常見需求。
• 社區(qū)活躍：GitHub 上有定期更新和問題響應。
• 易于集成：命令行設計適合腳本自動化。

(2) 缺點

• 功能限制：嵌套數(shù)據支持不夠完善，復雜查詢可能受限。
• 性能瓶頸：盡管有優(yōu)化，對于超大數(shù)據集仍可能不如專用數(shù)據庫。
• 平臺限制：Windows 上管道輸入不可用，降低部分靈活性。

7. 截圖

8. 地址

https://github.com/multiprocessio/dsq