Towhee可以讓用戶像搭積木一樣，輕松地完成 AI 應(yīng)用程序的構(gòu)建和落地。通過使用大語言模型(LLM)以及其他SOTA深度學(xué)習(xí)模型，從各種未加工過的非結(jié)構(gòu)化數(shù)據(jù)中（長文本、圖像、音頻和視頻）提取信息，并將這些信息存儲(chǔ)到合適的存儲(chǔ)系統(tǒng)中,比如可以將提取出的向量數(shù)據(jù)存儲(chǔ)到向量數(shù)據(jù)庫中。開發(fā)人員能夠通過Towhee提供的Pythonic API來完成各種 AI 流水線和 AI 應(yīng)用的原型設(shè)計(jì)，享受自動(dòng)代碼優(yōu)化，低成本實(shí)現(xiàn)生產(chǎn)環(huán)境的應(yīng)用性能優(yōu)化。

? 項(xiàng)目特點(diǎn)

???多模態(tài) Towhee 能夠處理各種數(shù)據(jù)類型。無論是圖像數(shù)據(jù)、視頻片段、文本、音頻文件還是分子結(jié)構(gòu),Towhee 都可以處理。

?? LLM 管道編排 Towhee 具有靈活性,可以適應(yīng)不同的大語言模型(LLM)。此外,它允許在本地托管開源大模型。此外,Towhee 提供了prompt管理和知識(shí)檢索等功能,使與這些 LLM 的交互更加高效和有效。

???豐富的算子 Towhee 提供了五個(gè)領(lǐng)域內(nèi)眾多最先進(jìn)的現(xiàn)成模型:計(jì)算機(jī)視覺、自然語言處理、多模態(tài)、音頻和醫(yī)療領(lǐng)域。擁有超過 140 個(gè)模型,如 BERT 和 CLIP,以及豐富的功能,如視頻解碼、音頻切片、幀采樣和降維,它有助于高效地搭建數(shù)據(jù)處理流水線。

?? 預(yù)構(gòu)建的 ETL 管道 Towhee 提供現(xiàn)成的 ETL(提取、轉(zhuǎn)換、加載)管道用于常見任務(wù),如增強(qiáng)生成檢索、文本圖像搜索和視頻副本檢測(cè)。這意味著您不需要成為 AI 專家即可使用這些功能構(gòu)建應(yīng)用程序。

?? 高性能后端 利用 Triton 推理服務(wù)器的計(jì)算能力,Towhee 可以使用 TensorRT、Pytorch 和 ONNX 等平臺(tái)加速 CPU 和 GPU 上的模型服務(wù)。此外,您可以用幾行代碼將 Python 管道轉(zhuǎn)換為高性能的 Docker 容器,實(shí)現(xiàn)高效部署和擴(kuò)展。

?? Python 風(fēng)格的 API Towhee 包含一個(gè) Python 風(fēng)格的方法鏈 API,用于描述自定義數(shù)據(jù)處理流水線。我們還支持模式,這使得處理非結(jié)構(gòu)化數(shù)據(jù)就像處理表格數(shù)據(jù)一樣簡單。

?? 快速入門

Towhee 需要 Python 3.7 及以上的運(yùn)行環(huán)境，可以通過 pip 來完成快速安裝：

pip install towhee towhee.models

流水線

預(yù)定義流水線

Towhee 提供了一些預(yù)定義流水線，可以幫助用戶快速實(shí)現(xiàn)一些功能。目前已經(jīng)實(shí)現(xiàn)的有：

• 文本embedding
• 圖像embedding
• 視頻去重
• 基于大語言模型的知識(shí)庫問答

所有的流水線均能在Towhee Hub上找到，下面是sentence_embedding流水線的使用示例:

from towhee import AutoPipes, AutoConfig
# get the built-in sentence_similarity pipeline
config = AutoConfig.load_config('sentence_embedding')
config.model = 'paraphrase-albert-small-v2'
config.device = 0
sentence_embedding = AutoPipes.pipeline('sentence_embedding', config=config)

# generate embedding for one sentence
embedding = sentence_embedding('how are you?').get()
# batch generate embeddings for multi-sentences
embeddings = sentence_embedding.batch(['how are you?', 'how old are you?'])
embeddings = [e.get() for e in embeddings]

自定義流水線

通過Towhee python API，可以實(shí)現(xiàn)自定義的流水線, 下面示例中，我們來創(chuàng)建一個(gè)基于 CLIP 的跨模態(tài)檢索流水線。

from towhee import ops, pipe, DataCollection
# create image embeddings and build index
p = (
    pipe.input('file_name')
    .map('file_name', 'img', ops.image_decode.cv2())
    .map('img', 'vec', ops.image_text_embedding.clip(model_name='clip_vit_base_patch32', modality='image'))
    .map('vec', 'vec', ops.towhee.np_normalize())
    .map(('vec', 'file_name'), (), ops.ann_insert.faiss_index('./faiss', 512))
    .output()
)

for f_name in ['https://raw.githubusercontent.com/towhee-io/towhee/main/assets/dog1.png',
               'https://raw.githubusercontent.com/towhee-io/towhee/main/assets/dog2.png',
               'https://raw.githubusercontent.com/towhee-io/towhee/main/assets/dog3.png']:
    p(f_name)

# Flush faiss data into disk. 
p.flush()
# search image by text
decode = ops.image_decode.cv2('rgb')
p = (
    pipe.input('text')
    .map('text', 'vec', ops.image_text_embedding.clip(model_name='clip_vit_base_patch32', modality='text'))
    .map('vec', 'vec', ops.towhee.np_normalize())
    # faiss op result format:  [[id, score, [file_name], ...]
    .map('vec', 'row', ops.ann_search.faiss_index('./faiss', 3))
    .map('row', 'images', lambda x: [decode(item[2][0]) for item in x])
    .output('text', 'images')
)

DataCollection(p('puppy Corgi')).show()

?? 核心概念

Towhee 由四個(gè)主要模塊組成：“算子（Operators）”、“流水線（Pipelines）”、“數(shù)據(jù)處理 API（DataCollection API）”和“執(zhí)行引擎（Engine）”。

• 算子（Operator）：算子是構(gòu)成神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)處理水流線(neural data processing pipeline)的“積木塊”（基礎(chǔ)組件）。這些基礎(chǔ)組件按照任務(wù)類型進(jìn)行組織，每種任務(wù)類型都具有標(biāo)準(zhǔn)的調(diào)用接口。一個(gè)算子可以是某種神經(jīng)網(wǎng)絡(luò)模型，某種數(shù)據(jù)處理方法，或是某個(gè) Python 函數(shù)。
• 流水線（Pipeline）：流水線是由若干個(gè)算子組成的 DAG（有向無環(huán)圖）。流水線可以實(shí)現(xiàn)比單個(gè)算子更復(fù)雜的功能，諸如特征向量提取、數(shù)據(jù)標(biāo)記、跨模態(tài)數(shù)據(jù)理解等。
• 數(shù)據(jù)處理 API（DataCollection）: DataCollection API 是用于描述流水線的編程接口。提供多種數(shù)據(jù)轉(zhuǎn)換接口：map, filter, flat_map, concat, window, time_window以及window_all，通過這些接口，可以快速構(gòu)建復(fù)雜的數(shù)據(jù)處理管道，處理視頻，音頻，文本，圖像等非結(jié)構(gòu)化數(shù)據(jù)。
• 執(zhí)行引擎（Engine）: 執(zhí)行引擎負(fù)責(zé)實(shí)例化流水線、任務(wù)調(diào)度、資源管理，以及運(yùn)行期性能優(yōu)化。面向快速原型構(gòu)建，Towhee 提供了輕量級(jí)的本地執(zhí)行引擎；面向生產(chǎn)環(huán)境需求，Towhee 提供了基于 Nvidia Triton 的高性能執(zhí)行引擎。

ProxyPin免費(fèi)開源Http、Https抓包工具，支持Windows、Mac、Android、IOS 全平臺(tái)系統(tǒng)

支持手機(jī)掃碼連接，不用手動(dòng)配置Wifi代理，包括配置同步。所有終端都可以互相掃碼連接轉(zhuǎn)發(fā)流量。

Mac首次打開會(huì)提示已損壞，需要到系統(tǒng)偏好設(shè)置-安全性與隱私-允許任何來源。

國內(nèi)下載地址：https://gitee.com/wanghongenpin/network-proxy-flutter/releases

ios下載地址(Safari瀏覽器打開)：https://testflight.apple.com/join/gURGH6B4

ios個(gè)人開發(fā)者賬號(hào)用到VPN沒法上架AppStore, 后面可能會(huì)上架美版AppStore。

•  接下來會(huì)持續(xù)完善功能和體驗(yàn)，請(qǐng)求重寫功能增、強(qiáng)模擬慢請(qǐng)求、請(qǐng)求debug, UI優(yōu)化。
•  支持安卓微信小程序抓包，安卓分為系統(tǒng)證書和用戶證書，下載的自簽名根證書安裝都是用戶證書，微信不信任用戶證書，不Root導(dǎo)致Https抓不了了, 目前市場(chǎng)上所有抓包軟件抓不了微信的包，后面單獨(dú)做個(gè)運(yùn)行空間插件，動(dòng)態(tài)反編譯修改配置，信任用戶證書來解決。
•  WebSocket、HTTP2協(xié)議支持。

MAC-演示使用

圖片

圖片

圖片

IPhone-演示使用

圖片

圖片