本項目測試參考歌聲，歌詞“風(fēng)吹來的砂冥冥在哭泣，難道早就預(yù)言了分離”：3gt夕小瑤科技說12秒提示詞“Iwanttolistentoasongwithamanvoice.”生成的歌聲：轉(zhuǎn)換男聲夕小瑤科技說12秒提示詞“I'minthemoodforasongperformedbyamadamartist.”生成的歌聲：轉(zhuǎn)換女聲夕小瑤科技說12秒引言：自然語言指令在歌聲合成中的新突破在數(shù)字音頻技術(shù)的發(fā)展歷程中，歌聲合成（SingingVoiceSynthesis,SVS）一直是一個充滿挑戰(zhàn)的領(lǐng)域。隨著深度...

引言：探索記憶消除的界限在人工智能的發(fā)展過程中，一個引人入勝的議題是機器學(xué)習(xí)模型是否能夠被訓(xùn)練以忘記其曾經(jīng)學(xué)到的信息。近期，RonenEldan和MarkRussinovich在其研究“誰才是哈利·波特？”[1]中提出了一種創(chuàng)新技術(shù)，聲稱能夠從LLMs中“抹去”特定數(shù)據(jù)集的記憶，尤其是針對《哈利·波特》這樣的知名作品。他們的方法引發(fā)了業(yè)界的廣泛關(guān)注，并被認(rèn)為是在LLMs“遺忘”技術(shù)領(lǐng)域的一大突破。但是，本文將對Eldan和Russinovich...

引言：AI時代的信息真?zhèn)伪孀R在人工智能迅猛發(fā)展的今天，我們面臨著前所未有的信息真?zhèn)伪孀R挑戰(zhàn)。AI技術(shù)，尤其是深度學(xué)習(xí)模型，已經(jīng)能夠生成極其逼真的圖片、音頻和視頻內(nèi)容，這些內(nèi)容被統(tǒng)稱為DeepFakes。DeepFakes的出現(xiàn)給信息的可信度和數(shù)字媒體的信任帶來了嚴(yán)重的挑戰(zhàn)。因此，識別DeepFakes成為了媒體取證領(lǐng)域中一個緊迫且關(guān)鍵的任務(wù)。這篇論文研究了多模態(tài)大語言模型（LLMs）在DeepFakes檢測上的作用。通過定性和定量實驗，...

引言：大語言模型的高效微調(diào)及其在多樣化任務(wù)中的應(yīng)用在人工智能領(lǐng)域，大語言模型（LLMs）已成為推動技術(shù)進(jìn)步的關(guān)鍵力量。它們在理解和生成自然語言方面展現(xiàn)出了卓越的能力，從而在問答系統(tǒng)、機器翻譯、信息提取等多樣化任務(wù)中發(fā)揮著重要作用。然而，要將這些模型適配到特定的下游任務(wù)中，通常需要進(jìn)行微調(diào)（finetuning），這是一個資源密集型的過程。高效的微調(diào)方法因此成為了研究的熱點，旨在減少訓(xùn)練成本，同時保持或提升模...

你有沒有想過，如果有一天ChatGPT有了身體，跑到你辦公桌上成了你的寵物，這是個多么有趣的場景，LOOI就是這樣一款把幻想帶進(jìn)現(xiàn)實的產(chǎn)品不得不說，ChatGPT讓具身智能達(dá)到了新高度，LOOI便應(yīng)運而生。LOOI是什么LOOI是一個集成了ChatGPT為大腦的智能桌面機器人，你可以叫它為?lu?i，類似于英美口音中的“Louie”（路易）。它可以理解復(fù)雜的指令，與人類順暢地溝通。它還能通過視覺模塊感知周圍的一切，他會想要了解你在做什么，...

OpenAI又帶來了一項超酷的進(jìn)展！周五推出了一項名為VoiceEngine的語音引擎，僅憑一段15秒的聲音樣本，便能夠精準(zhǔn)模仿出那個人的聲音。VoiceEngine的獨特之處在于，它能通過簡單的文本輸入和短短音頻樣本，創(chuàng)造出非常接近原始說話者的自然聲音。這意味著無論你讓它讀什么語言的文字，都能以那個人獨有的聲音風(fēng)格朗讀，效果既逼真又充滿感情?？偠灾?，OpenAI通過這項新技術(shù)展示了人工智能復(fù)制人聲的驚人可能性，接下來讓我們一...

2024年3月21日，HeyGen5.0正式發(fā)布！這款革命性的AIGC產(chǎn)品將AI數(shù)字人的魔力融入視頻創(chuàng)作，以其簡潔易用的特性，讓視頻制作變得輕而易舉。只需幾次點擊，即可打造出令人驚嘆的高品質(zhì)視頻作品！不僅如此，HeyGen支持超過40種語言和多種口音，每一個數(shù)字人都是語言大師！如此驚艷！HeyGen5.0生成的數(shù)字人不僅可以保持口型同步，克隆語音語調(diào)，保留背景聲，還能精準(zhǔn)的識別和追蹤用戶的身體動作，如手部移動和手勢！讓我們看看下面的...

引言：大語言模型數(shù)學(xué)能力評估的重要性數(shù)學(xué)能力的評估對于理解和發(fā)展大語言模型（LLMs）至關(guān)重要。數(shù)學(xué)問題不僅涉及對數(shù)字的理解和操作，還包括了抽象概念化、邏輯推理等核心能力的考察。因此，一個高質(zhì)量的數(shù)學(xué)評估基準(zhǔn)對于全面評估LLMs的能力具有重大意義。傳統(tǒng)的數(shù)學(xué)問題數(shù)據(jù)集，如AddSub和MultiArith（下圖），提供了基礎(chǔ)的數(shù)學(xué)詞匯問題庫，但這些通常只能評估模型在特定數(shù)學(xué)問題上的準(zhǔn)確性。隨著中文LLMs的迅速發(fā)展，相應(yīng)...

StabilityAI又有新動作！程序員又有危機了？3月26日，StabilityAI推出了先進(jìn)的代碼語言模型StableCodeInstruct3B，該模型是在StableCode3B的基礎(chǔ)上進(jìn)行指令調(diào)優(yōu)的CodeLM。StabilityAI表示，StableCodeInstruct3B在代碼完成準(zhǔn)確性、對自然語言指令的理解以及處理多種編程語言方面都優(yōu)于同類模型，在3B規(guī)模下提供最先進(jìn)的性能，并且性能媲美Codellama7BInstruct以及DeepSeekCoderInstruct1.3B先讓我們來感受一下StableCodeInstruc...

當(dāng)今大模型如此火熱，作為一名數(shù)據(jù)同學(xué)，持續(xù)在關(guān)注LLM是如何應(yīng)用在數(shù)據(jù)分析中的，也關(guān)注到很多公司推出了AI數(shù)智助手的產(chǎn)品，比如火山引擎數(shù)智平臺VeDI—AI助手、KyligenceCopilotAI數(shù)智助理、ThoughtSpot等，通過接入人工智能大模型，提升數(shù)據(jù)處理和查詢分析的效率。智能數(shù)據(jù)分析助手，采用對話式分析技術(shù)，每個普通人都可以與數(shù)據(jù)進(jìn)行隨時隨地的實時交互，根據(jù)用戶的使用反饋，不斷學(xué)習(xí)，自我迭代找到答案，并在團隊內(nèi)分享對...

擴散模型是目前大部分AIGC生圖模型的基座，其本質(zhì)是用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)從高斯噪聲逐步恢復(fù)圖像的過程，本文用python代碼從零開始構(gòu)建了一個簡單的擴散模型。一、理論部分DDPM(DenoisingDiffusionProbabilisticModels)是一種在生成對抗網(wǎng)絡(luò)等技術(shù)的基礎(chǔ)上發(fā)展起來的新型概率模型去噪擴散模型，與其他生成模型（如歸一化流、GANs或VAEs）相比并不是那么復(fù)雜，DDPM由兩部分組成：一個固定的前向傳播的過程，它會逐漸將高斯噪聲添加到圖...

靈感藝術(shù)家項目，旨在通過AIGC繪圖能力，聯(lián)合商家打造低門檻+高趣味性的宣傳海報設(shè)計大賽，本文分享我們的方案和優(yōu)化方向。建議對AIGC感興趣的工程、算法方向的同學(xué)閱讀。一、項目背景靈感藝術(shù)家項目，旨在通過AIGC繪圖能力，聯(lián)合商家打造低門檻+高趣味性的宣傳海報設(shè)計大賽，為新品進(jìn)行宣傳和造勢。同時也是為了給消費者提供參與新品宣發(fā)的通道。二、目標(biāo)拆解GPT部分采用通義千問大語言模型，詳見其技術(shù)文檔。本文重點介紹海報...

隨著OpenAI推出ChatGPT，AIGC迎來了前所未有的發(fā)展機遇。大模型技術(shù)已經(jīng)不僅僅是技術(shù)趨勢，而是深刻地塑造著我們交流、工作和思考的方式。本文介紹了筆者理解的大模型和AIGC的密切聯(lián)系，從歷史沿革到實際應(yīng)用案例，再到面臨的技術(shù)挑戰(zhàn)和倫理監(jiān)管問題，探討這一技術(shù)浪潮如何引領(lǐng)我們進(jìn)入一個智能化的未來。一、前言引言：AI時代，未來已來2022.11月30號OpenAI推出ChatGPT后隨即爆火，五天注冊用戶數(shù)過百萬，2個月用戶破1億，成為...

捏臉玩法是裝扮類應(yīng)用的一個核心功能。本文主要介紹了捏臉的AI相關(guān)玩法之一即基于用戶上傳的照片在淘寶人生2（又名：第二人生）一鍵生成專屬3D數(shù)字人，闡述了淘天FC淘寶人生技術(shù)團隊在圖片捏臉上探索的心路歷程，核心原理以及技術(shù)框架。本文的視角也不局限于圖片捏臉本身，也介紹了其他AI類相關(guān)玩法在裝扮類應(yīng)用落地的情況，希望能對大家有所啟發(fā)和幫助。一、背景淘寶人生是國內(nèi)用戶規(guī)模較大的裝扮類應(yīng)用之一，在淘寶中扮演了用...

本文深入探討了基于參考物體的人工智能圖像生成（AIGC）技術(shù)的最新進(jìn)展。首先概述了該類技術(shù)如何發(fā)展至今，然后著重分析了兩篇重要的相關(guān)學(xué)術(shù)論文。隨后，文章針對家居導(dǎo)購領(lǐng)域的特殊應(yīng)用場景，討論了運用此項技術(shù)時遭遇的挑戰(zhàn)和取得的最新效果。?一、引言隨著AIGC技術(shù)的快速發(fā)展，其中以StableDiffusion模型為代表的的文生圖技術(shù)已經(jīng)在內(nèi)容生成領(lǐng)域產(chǎn)生了應(yīng)用價值，用戶只需要提供一段文本輸入，就能通過AI模型快速生成大量美...

本文總結(jié)了近10年來的生圖模型論文中用到的評價指標(biāo)，并嘗試解答兩個問題不同時期的評價標(biāo)準(zhǔn)都有哪些特點？圖片質(zhì)量的評價如何輔助模型的迭代？?一、前言隨著各種文生圖模型逐漸從toyproject進(jìn)入到生產(chǎn)鏈路，在線上實際落地并產(chǎn)生業(yè)務(wù)價值，同時自研來源模型也進(jìn)入了快速迭代的階段。一套直指問題、綜合拓展性和復(fù)用性的評價指標(biāo)變得尤為寶貴，從效果上來講，如果說數(shù)據(jù)質(zhì)量決定了模型效果的上限，那么指標(biāo)的好壞直接決定了模...

淘寶人生2（又名：第二人生）是淘寶的一個虛擬人裝扮類應(yīng)用，承擔(dān)了用戶在淘寶的第二個人生的作用。我們旨在通過AI為淘寶人生2的用戶提供豐富有趣的可玩性內(nèi)容，隨著最近火熱的AIGC技術(shù)的發(fā)展，我們也進(jìn)行了相關(guān)嘗試和落地，目前已經(jīng)上線了AI拍照風(fēng)格化、AI寫真館、AI服飾涂鴉等項目。本文主要以AI服飾涂鴉為例介紹我們在AIGC圖像領(lǐng)域的探索和應(yīng)用，希望能夠?qū)Υ蠹矣兴鶈l(fā)和幫助，也歡迎大家建議和合作。一、項目背景為了能夠...

基于Diffusion模型的AIGC生成算法日益火熱，其中文生圖，圖生圖等圖像生成技術(shù)普遍成熟，很多算法從業(yè)者開始從事視頻生成算法的研究和開發(fā)，原因是視頻生成領(lǐng)域相對空白。一、AIGC視頻算法發(fā)展現(xiàn)狀從2023年開始，AIGC+視頻的新算法層出不窮，其中最直接的是把圖像方面的成果引入視頻領(lǐng)域，并結(jié)合時序信息去生成具有連續(xù)性的視頻。隨著Sora的出現(xiàn)，視頻生成的效果又再次上升了一個臺階，因此有必要將去年一年到現(xiàn)在的視頻領(lǐng)域進(jìn)...

引言：參與式城市規(guī)劃的新篇章隨著城市化的不斷推進(jìn)，傳統(tǒng)的城市規(guī)劃方法面臨著越來越多的挑戰(zhàn)。這些方法往往需要大量的時間和人力，且嚴(yán)重依賴于經(jīng)驗豐富的城市規(guī)劃師。為了應(yīng)對這些挑戰(zhàn)，參與式城市規(guī)劃應(yīng)運而生，它強調(diào)不同利益相關(guān)者，包括官員、專業(yè)人士、開發(fā)商、當(dāng)?shù)鼐用窈凸姷姆e極參與。這種包容性的方法旨在通過精心設(shè)計的程序、討論、小組會議或研討會，將多樣化的視角納入規(guī)劃和決策過程中。然而，參與式規(guī)劃的傳...

引言：探索大型語言模型中低秩適應(yīng)的新方法在自然語言處理領(lǐng)域，大語言模型（LLMs）的迅猛發(fā)展帶來了前所未有的性能提升。然而，隨之而來的是模型參數(shù)數(shù)量的激增，這不僅導(dǎo)致了調(diào)優(yōu)成本的線性增長，也給在常規(guī)硬件上進(jìn)行微調(diào)帶來了挑戰(zhàn)。為了解決這一問題，研究者們提出了一系列參數(shù)高效的調(diào)優(yōu)方法，如LoRA，它們通過只調(diào)整模型中一小部分參數(shù)來實現(xiàn)與全參數(shù)微調(diào)相當(dāng)?shù)男阅?。盡管這些方法能夠降低約30%的GPU內(nèi)存需求，但仍需要...