我想做一個(gè)嘗試，看看能不能用盡量清晰的邏輯，給“AI外行人士”（當(dāng)然，我也是）引入一下LangChain，試著從工程角度去理解LangChain的設(shè)計(jì)和使用。同時(shí)大家也可以將此文檔作為L(zhǎng)angChain的“10分鐘快速上手”手冊(cè)，本意是希望幫助需要的同學(xué)實(shí)現(xiàn)AI工程的Bootstrap。文中所有的示例代碼都已托管到GitHub：https:github.comTuGraphcontriblangchaindemo，喜歡實(shí)操的小伙伴可以邊閱讀，邊復(fù)現(xiàn)。一、引言1.1什么是LangChain？正式開...

1、背景RTPLLM是阿里巴巴大模型預(yù)測(cè)團(tuán)隊(duì)開發(fā)的大模型推理加速引擎，作為一個(gè)高性能的大模型推理解決方案，它已被廣泛應(yīng)用于阿里內(nèi)部。該引擎與當(dāng)前廣泛使用的多種主流模型兼容，并通過采用高性能的CUDA算子來(lái)實(shí)現(xiàn)了如PagedAttention和ContinuousBatching等多項(xiàng)優(yōu)化措施。RTPLLM還支持包括多模態(tài)、LoRA、PTuning、以及WeightOnly動(dòng)態(tài)量化等先進(jìn)功能。隨著大模型的廣泛應(yīng)用，如何降低推理延遲并優(yōu)化成本已成為業(yè)界關(guān)注的焦點(diǎn)。我...

今天給大家?guī)?lái)的話題是AIGC趨勢(shì)下的軟件工程重塑。今天這個(gè)話題主要分為以下四大部分。第一部分是AI是否已經(jīng)成為軟件研發(fā)的必選項(xiàng)；第二部分是AI對(duì)于軟件研發(fā)的挑戰(zhàn)及智能化機(jī)會(huì)，第三部分是企業(yè)落地軟件研發(fā)智能化的策略和路徑，第四部分是我們現(xiàn)有的可采納的、可落地的工具，在這一部分我也會(huì)重點(diǎn)介紹通義靈碼整體的產(chǎn)品能力和概況。01、AI已經(jīng)成為軟件研發(fā)的必選項(xiàng)這張圖是麥肯錫最近發(fā)布的一個(gè)研究報(bào)告，大家可以看到他把...

我在這里想向大家介紹1688嚴(yán)選和商品品質(zhì)化之旅。去年，我們推出了1688嚴(yán)選，面臨的挑戰(zhàn)是如何讓買家相信我們的商品真的經(jīng)過了嚴(yán)格的篩選。為了解決這個(gè)問題，我們定義了“嚴(yán)選”標(biāo)準(zhǔn)，并運(yùn)用AIGC技術(shù)規(guī)?；a(chǎn)和投放品質(zhì)化商品主圖，以提高買家的信任度。盡管我們面臨圖源質(zhì)量、合圖標(biāo)準(zhǔn)和流程自動(dòng)化等挑戰(zhàn)，但我們通過技術(shù)創(chuàng)新和優(yōu)化流程，大幅提升了效率，如今能每天快速制作高達(dá)幾萬(wàn)張品質(zhì)主圖，為1688商人節(jié)大規(guī)模投放做...

一、背景時(shí)間步入了2024年，新的技術(shù)趨勢(shì)，如大模型AIGC多模態(tài)等技術(shù)，已經(jīng)開始與實(shí)際業(yè)務(wù)相結(jié)合，并開始生產(chǎn)落地。這些新的技術(shù)趨勢(shì)不僅提高了算力的需求，也給底層基礎(chǔ)設(shè)施帶來(lái)了更大的挑戰(zhàn)。在計(jì)算方面，以GPU和FPGA等異構(gòu)硬件為例，他們通過短周期的迭代和演進(jìn)來(lái)適應(yīng)不斷變化的需求。阿里集團(tuán)通過統(tǒng)一調(diào)度、統(tǒng)一資源池以及全面彈性等調(diào)度手段滿足了復(fù)雜的計(jì)算需求。在存儲(chǔ)方面，經(jīng)典的微服務(wù)應(yīng)用通過云原生化的方式，兼顧了...

01、引言LoRA(LowrankAdapter)在大模型（如GPT3，LLama,Qwen等）中，是一種重要的微調(diào)技術(shù)。該技術(shù)通過在不改變預(yù)訓(xùn)練模型參數(shù)的同時(shí)，添加低階矩陣，學(xué)習(xí)新的、特定于任務(wù)的參數(shù)。這種微調(diào)方式不僅維持了模型的高效性能，也顯著提升了模型訓(xùn)練和部署的效率。然而當(dāng)對(duì)basemodel進(jìn)行規(guī)?；嗳蝿?wù)微調(diào)時(shí)，相關(guān)部署成本可能會(huì)顯著增加?；趯?shí)際應(yīng)用場(chǎng)景，成本和效率考慮，我們?cè)赗TPLLM框架上實(shí)現(xiàn)了兩種LoRA方法：靜態(tài)LoRA和動(dòng)態(tài)Lo...

01、前言從2022年底chatGPT的一炮走紅開始，基于大語(yǔ)言模型的對(duì)話應(yīng)用如雨后春筍一般全面開花。剛剛過去的2023年是千帆競(jìng)發(fā)的一年，在這一年里我們見證了百模大戰(zhàn)，開源模型社區(qū)可謂繁榮昌盛：從llama到它的無(wú)數(shù)變體、qwen系列的完整中文大模型生態(tài)構(gòu)建、Mixtral等多模態(tài)的成功嘗試、再到llava等視覺大語(yǔ)言模型的蓄勢(shì)待發(fā)。在語(yǔ)言模型上，我們已經(jīng)有了十分豐富的選擇，這些模型在RTPLLM上都得到了較好的支持，可以高效地完成推...

01Havenask介紹Havenask是阿里巴巴廣泛使用的自研大規(guī)模分布式檢索系統(tǒng)，是過去十多年阿里在電商領(lǐng)域積累下來(lái)的核心競(jìng)爭(zhēng)力產(chǎn)品，廣泛應(yīng)用在搜推廣和大數(shù)據(jù)檢索等典型場(chǎng)景。在2022年云棲大會(huì)云計(jì)算加速開源創(chuàng)新論壇上完成開源首發(fā)，同時(shí)作為阿里云開放搜索OpenSearch底層搜索引擎，OpenSearch自2014年商業(yè)化，目前已有千余家外部客戶。02向量檢索近年來(lái)，隨著短視頻、電商等領(lǐng)域的繁榮，產(chǎn)生了越來(lái)越多的非結(jié)構(gòu)化數(shù)據(jù)，如圖片、...