一、A2A協(xié)議的核心原理A2A協(xié)議的設計基于五個核心原則，這些原則確保了協(xié)議的靈活性、安全性和廣泛適用性。以下是對這些原則的詳細解析，并結合技術機制進行說明。1.擁抱智能體特性（EmbraceAgenticCapabilities）A2A協(xié)議專為具有自主性和復雜推理能力的AI智能體設計。不同于傳統(tǒng)的工具調用（如API或數據庫查詢），A2A允許智能體以自然、結構化的方式進行協(xié)作，而無需共享內存、工具或上下文。這種設計支持智能體在分布式環(huán)境中...

近年來，大語言模型（Largelanguagemodel,LLM）取得了顯著進展。以ChatGPT為代表的LLM在自然語言任務上展現出驚人的智能涌現能力。盡管LLM在很多推理任務上表現出前所未有的接近人類的性能，但是單純的LLM只能處理文本類任務。與此同時，在大規(guī)模數據集上預訓練的視覺基礎模型也在快速發(fā)展。盡管在視覺領域還沒有出現“ChatGPT時刻”，但是預訓練視覺基礎模型已經可以在很多真實視覺場景、數據集上表現出優(yōu)秀的零樣本、少樣本性...

本文作者為中國移動云能力中心云智團隊圖像處理算法工程師周華健。身份證識別場景下服務調用量大，往往對于服務的吞吐量要求較高。本文主要從業(yè)務邏輯、模型、工程三個層面對身份證識別服務進行優(yōu)化，取得了較大的性能提升。1.業(yè)務邏輯優(yōu)化一個身份證通常包含了4個模型，身份證檢測模型，身份證方向判斷模型，身份證文字檢測模型，身份證文字識別模型。由于身份證檢測與身份證文字檢測模型任務類型相似，模型輸入圖像也可以一致...

國產化AI芯片的發(fā)展已經成為國內信息技術產業(yè)的一個重要領域，它的發(fā)展始于對高性能計算需求的崛起，尤其是在人工智能和大數據領域，國內的科研機構和高新技術企業(yè)開始投入大量資源用于AI芯片的研發(fā)，以滿足國內應用的需求。并且隨著中國在各個高新領域的不斷發(fā)力與國外AI芯片技術近年來不斷加深的制裁，各個行業(yè)的企業(yè)也開始合作，以共同推動AI芯片的研發(fā)和應用，包括通信、云計算、智能制造、自動駕駛等領域。國內市場對AI芯...

要說當下什么最熱，DeepSeek絕對是當仁不讓。憑借其強大的語言理解和生成能力，以及免費開放的策略，DeepSeek迅速吸引了大量用戶，成為全球關注的焦點。然而，隨著用戶數量的激增，DeepSeek官網的聯(lián)網搜索和深度思考功能經常出現“服務器繁忙”的提示，嚴重影響了用戶體驗。除了官方，還有辦法擁有滿血、可聯(lián)網的DeepSeek嗎？答案是肯定的。比如近期移動云就推出了DeepSeek系列模型的免費體驗，通過接入云服務商的推理API，用戶...

一、背景2024年9月OpenAI發(fā)布的o1preview模型展現出了在解決復雜問題上的強大邏輯思維能力。相比之前傳統(tǒng)的Chat類模型，o1類模型在解決問題時會構建出長序列的思維鏈chainofthought（CoT）進行推理，通過問題拆解、中間步驟驗證、思維探索等方法，最終找到問題的正確解答方法。OpenAI對o1模型的介紹中也著重強調了CoT的重要性【1】。類似于人類在回答一個困難問題時可能會思考很長時間，o1在解決問題時也采用了鏈式思維。通過強...

1.引言隨著大模型在多模態(tài)理解、邏輯推理等方面的進一步發(fā)展，Agent或將在2025年迎來大規(guī)模落地應用，替代人類自主解決越來越多的日常工作。人工智能（AI）專家普遍認為，2025年將是智能體（agent）爆發(fā)之年。2024年底，Gartner也將agenticAI列入了2025年十大技術趨勢之一，并預測2028年將至少有15%的日常工作決策由agenticAI自主完成，而這一數字在2024年為0。在CES2025，黃仁勛也強調2025年Agent將會有許多商業(yè)化應用。本文從...

1.什么是人臉識別？人臉識別技術，是基于人的臉部特征信息進行身份識別的一種生物識別技術。用攝像機或攝像頭采集含有人臉的圖像或視頻流，并自動在圖像中檢測和跟蹤人臉，進而對檢測到的人臉進行臉部的一系列相關技術，通常也叫做人像識別、面部識別。人臉識別技術主要是通過人臉圖像特征的提取與對比來進行的。人臉識別系統(tǒng)將提取的人臉圖像的特征數據與數據庫中存儲的特征模板進行搜索匹配，通過設定一個閾值，當相似度超過...

微軟“Tay”項目2016年3月，微軟發(fā)布了一個名為Tay的新項目。微軟設計Tay的初衷是為“18至24歲的美國年輕人提供娛樂服務的聊天機器人”。這是一個有趣的名字，代表著早期人工智能實驗的輕松嘗試。Tay旨在模仿一位19歲的美國女孩的語言模式，并通過與Twitter、Snapchat及其他社交應用上的用戶互動來學習。這款聊天機器人是為了進行真實環(huán)境下的對話理解研究而開發(fā)的。然而，僅在發(fā)布幾小時后，問題就顯現了。TechCrunch評論道：...

概念Ray是一個開源的高性能分布式計算框架，旨在簡化大規(guī)模分布式應用的開發(fā)和運行。它提供了靈活的任務調度、資源管理以及并行計算能力，使開發(fā)者能夠輕松實現從單機到多節(jié)點的計算擴展。Ray支持多種場景，包括分布式機器學習訓練、強化學習、超參數優(yōu)化、大規(guī)模數據處理和實時模型部署等。Ray的核心概念是通過統(tǒng)一的API，使開發(fā)者專注于邏輯開發(fā)，而不必關心底層的分布式實現細節(jié)。通過模塊化設計，Ray集成了多個功能強大的庫...

一、環(huán)境準備1.前置條件首先準備好訓練機器和數據，筆者采用了32節(jié)點910BNPU，300萬網頁訓練數據。2.環(huán)境配置環(huán)境安裝，首先安裝多模態(tài)訓練框架msswift，安裝torchnpu及deepspeed。安裝msswift(當前推薦從源碼安裝,待發(fā)版后可直接pip安裝)gitclonehttps:github.commodelscopeswift.gitcdswiftpipinstalle'.[llm]'安裝torchnpupipinstalltorchnpudecorator安裝deepspeedpipinstalldeepspeed完整python依賴版本見文末附錄3.環(huán)境驗...

1.基于傳統(tǒng)機器學習的范式（第一范式）在早期的自然語言處理（NLP）研究中，神經網絡尚未被引入。在這個時期，NLP處理方法通常需要從自然語言語料庫中提取各種特征，例如詞性標注、命名實體識別和短語結構分析。然后，使用特定的規(guī)則或數學、統(tǒng)計學模型來對提取出的特征進行匹配和應用。例如，可以通過詞性標注和短語結構分析提取文本中的關鍵信息，然后利用數學模型，如隱馬爾可夫模型或貝葉斯網絡，來執(zhí)行序列分類和序列標注...

1.背景這次指的大型語言模型（LLMs）主要說的是采用Transformers架構的模型，該架構在訓練階段具有高度的并行性。然而，在實際應用中，高效地部署這些模型面臨一些挑戰(zhàn)。這是因為生成推理是逐個token進行的，而每個token的計算都依賴于先前生成的標記。因此，支持大規(guī)模訓練的模型需要仔細考慮并行布局和內存優(yōu)化，以實現所需的可擴展性和高效的低延遲推理。從而更好地支持大規(guī)模訓練的模型在實際應用中實現高效的低延遲推理，...

一、大模型概述1.什么是大模型本文的大模型特指的是大規(guī)模數據訓練得到的預訓練模型，對于大模型，2021年8月李飛飛聯(lián)合100多名專家發(fā)布了一份研究報告《OntheOpportunitiesandRiskofFoundationModels》，他們將大模型統(tǒng)一命名為fundationmodel，也可以稱之為基石模型，屬于深度學習的一種。此外，從命名就可以看出，大模型的研究已經在AI領域形成了里程碑式的影響。那么什么樣的模型可以稱為大模型，應可以包括3個方面：模型的...

數據集是大模型競爭的關鍵要素之一，AI大模型的突破得益于高質量數據的發(fā)展。訓練大模型需要大規(guī)模、高質量、多模態(tài)的數據集，通常需要從各個領域和多個數據源收集數據，這些數據可以是文本、圖像、語音、視頻等多種形式。大語言模型訓練使用的數據集規(guī)模爆發(fā)式增長。從2018年GPT1數據集約為4.6GB，2020年GPT3數據集達到了753GB，而ChatGPT的數據集為超萬億單詞的人類語言數據集（約45TB）。OpenAI并沒有公開訓練ChatGPT的相關...

1.核心云原生組件容器化技術是云原生的核心，它通過將應用及其依賴項打包到一個輕量級、獨立的容器中，確保了應用在不同環(huán)境中的一致運行。作為兩種主流的容器引擎，Docker和containerd廣泛應用于AI模型的開發(fā)和部署。Docker提供了簡便的容器化工具鏈，而containerd則作為一個高效、專注的容器運行時，為Kubernetes等平臺提供底層支持。容器化AI模型可以在本地開發(fā)環(huán)境與云端無縫切換，減少環(huán)境差異帶來的問題。AI應用通常由多...

ChatGTP、LLaMA2等通用大模型具備優(yōu)秀的推理性能，但在面對復雜多變的業(yè)務場景時，往往難以滿足多樣化的需求。ChatGPT等通用大模型通常需要經過復雜漫長的訓練過程，預訓練期間需要巨大的算力和存儲消耗，大多場景下從0到1訓練一個模型不僅成本高昂，而且沒有必要，因此基于預訓練的模型并對其進行微調成為有價值的研究方向。微調預訓練的通用大模型，不僅可以節(jié)約成本，也可以使模型更符合特定領域的需求，變得更定制化、專業(yè)...

1.標準Transformer經典Transformer模型(如上圖所示)，它是由編碼器（藍框）和解碼器（綠框）組成，標準VisionTransformer(ViT)[2]主要應用了其中的編碼器,編碼器模塊主要由一個MultiHeadSelfAttention(MHA)和一個MultilayerPerceptron(MLP)組成。2.視覺Transformer標準Transformer編碼器的輸入是一維embedding，為了能將該編碼器應用于圖像任務，將尺寸為(H,W,C)的圖像切分成尺寸為(P,P,C)的圖像塊，一共得到個圖像塊，reshape...

1.概念Kubeflow是一個機器學習平臺，旨在簡化ML模型的開發(fā)、訓練、部署和管理。它提供了一系列工具和組件，包括JupyterNotebook、TFJob、Katib（超參數調優(yōu)）、KFServing（模型服務）等，使用戶可以在Kubernetes集群上輕松運行和管理機器學習工作流。Volcano是一個Kubernetes調度系統(tǒng)，專為批處理、HPC、AI和大數據工作負載設計。它通過提供先進的調度策略、資源公平分配和作業(yè)管理功能，優(yōu)化了資源利用率和任務執(zhí)行效率。Volca...

一、TensorRT簡介TensorRT是由C++、CUDA、python三種語言編寫成的庫，有助于在NVIDIAGPU上進行高性能推理。基于目前主流的深度學習框架得到的模型都可通過TensorRT實現推理加速。圖1TensorRT轉換過程2021年7月，NVIDIA發(fā)布了TensorRT8.0版本，新版本極大提升了Transformers結構的推理新能。TensorRT性能優(yōu)化主要依賴下面兩種方式：1、權重與激活精度校準：在推理中使用FP16或者INT8精度計算，通過降低計算精度，提高計算效率，...