大模型，很早就能畫思維導(dǎo)圖，這并不奇怪。但讓我意外的是，現(xiàn)在的大模型竟然能直接生成這樣的圖。全過程沒有任何修改，直接“口噴”出圖。這是思維導(dǎo)圖。提示詞：梳理《三體》小說羅輯的人物關(guān)系，用Mermaid生成一張人物關(guān)系的思維導(dǎo)圖。架構(gòu)圖。提示詞：梳理《三體》ETO的組織架構(gòu)，用Mermaid生成一張架構(gòu)圖。泳道圖。提示詞：我想開發(fā)一款A(yù)IChatbot應(yīng)用，幫我用Mermaid生成一張泳道圖。狀態(tài)機(jī)圖。提示詞：我想了解trosformer...

DeepSeekR1會(huì)推理，GPT4o會(huì)看。能否讓1LLM既能看又能推理？DeepSeekR1取得很大成功，但它有個(gè)問題——無法處理圖像輸入。1.1DeepSeek模型發(fā)展自2024.12，DeepSeek已發(fā)布：DeepSeekV3（2024.12）：視覺語(yǔ)言模型（VLM），支持圖像和文本輸入，類似GPT4oDeepSeekR1（2025.1）：大規(guī)模推理模型（LRM），僅支持文本輸入，但具備更強(qiáng)的推理能力，類似OpenAIo1我們已領(lǐng)略視覺語(yǔ)言模型（VLM）和大規(guī)模推理模型（LRM），下一個(gè)是誰(shuí)？我們...

如何在多個(gè)語(yǔ)料庫(kù)（多源異構(gòu)知識(shí)庫(kù)，如：文本、圖片、視頻）中檢索和整合來自不同模態(tài)和粒度的知識(shí)？UniversalRAG：一個(gè)多模態(tài)RAG框架，用于從多個(gè)模態(tài)和粒度的語(yǔ)料庫(kù)中檢索和整合知識(shí)。下面來看看思路，供參考。方法(A)單一模態(tài)的RAG僅檢索一種模態(tài)的數(shù)據(jù)。(B)單一語(yǔ)料庫(kù)的RAG專注于檢索數(shù)據(jù)模態(tài)，而忽略語(yǔ)義。(C)UniversalRAG使用路由器和多個(gè)語(yǔ)料庫(kù)有效地支持多樣化的查詢，涵蓋不同的模態(tài)和粒度。從上圖可以看到，Universal...

1.前言自從OpenAI在2023年推出函數(shù)調(diào)用（FunctionCalling），我一直思考，咋能真正解鎖AIAgent與工具的生態(tài)系統(tǒng)。隨基礎(chǔ)模型越來越智能，AIAgent與外部工具、數(shù)據(jù)和API的交互方式卻變得越來越碎片化——開發(fā)者需針對(duì)每一個(gè)系統(tǒng)單獨(dú)編寫業(yè)務(wù)邏輯，讓Agent能夠適配不同環(huán)境。2.標(biāo)準(zhǔn)化顯然，我們需要一個(gè)標(biāo)準(zhǔn)化的接口來執(zhí)行任務(wù)、獲取數(shù)據(jù)并調(diào)用工具。在互聯(lián)網(wǎng)時(shí)代，API讓不同軟件之間可以相互通信，成為了軟件的通用語(yǔ)言。但對(duì)AI...

慕尼黑工業(yè)大學(xué)和倫敦大學(xué)學(xué)院提出了一款經(jīng)過微調(diào)的DINOViT模型Pixel3DMM，用于逐像素表面法線和UV坐標(biāo)預(yù)測(cè)。從上到下，下圖展示了FFHQ輸入圖像、估計(jì)的表面法線、根據(jù)預(yù)測(cè)的UV坐標(biāo)估計(jì)的二維頂點(diǎn)，以及針對(duì)上述兩個(gè)線索的FLAME擬合結(jié)果。圖片使用Pixel3DMM進(jìn)行野外追蹤。從左到右：輸入、預(yù)測(cè)法線、預(yù)測(cè)二維頂點(diǎn)、跟蹤覆蓋、FLAME跟蹤。單幅圖像重建給定一個(gè)輸入圖像（右上），下圖展示了DECA、FlowFace和Ours相對(duì)于地面真實(shí)CO...

已有的大模型能否通過PromptEngineering達(dá)到O1類似的推理水平？我見過很多嘗試，在個(gè)別案例上有觀察到驚艷的推理效果，但大多沒有普遍提升已有大模型的推理能力。今天看到這個(gè)方法，感覺是通過PromptEngineering可以有效普遍提升大模型的推理能力。以下就是那個(gè)MagicPrompt，先睹為快。作者準(zhǔn)備了50道需要長(zhǎng)推理過程的問題，分別測(cè)試幾種場(chǎng)景：ClaudeSonnet+上述PromptClauseSonnetLlama3.18B+上述PromptLlama3.18BChatGPT4o+上...

本文從以下4個(gè)方面詳細(xì)剖析：AIAgent到底是什么？構(gòu)建AIAgent的難點(diǎn)是什么？AIAgent框架種類和選型AIAgent架構(gòu)設(shè)計(jì)模式1、AIAgent到底是什么？并沒有一個(gè)一致的AIAgent定義，它們通常通過不同的視角來定義。OpenAI采用了一種更高層次、更思想引領(lǐng)式的方法來定義AIAgent：AIAgent是獨(dú)立為您完成任務(wù)的系統(tǒng)。這是一個(gè)模糊的表述，它并沒有真正幫助理解什么是AIAgent。這只是一種思想引領(lǐng)，并不實(shí)用。與之相比，Anthropic的定義是...

近期，OpenAI推出的DeepResearch（深度研究）功能引發(fā)了廣泛關(guān)注。該功能通過整合大模型、超級(jí)搜索和研究助理于一體，使得能夠一鍵生成報(bào)告，科研人員能夠一鍵撰寫綜述，極大提升了效率。然而，由于企業(yè)場(chǎng)景中私有化數(shù)據(jù)的敏感性和成本考慮，如何將DeepResearch進(jìn)行開源的本地化部署，成為許多人的關(guān)注焦點(diǎn)。在這篇文章中，我們將對(duì)市場(chǎng)上模仿DeepResearch的開源項(xiàng)目進(jìn)行簡(jiǎn)要分析，并結(jié)合Deepseek等主流開源模型，Zilliz推出一...

本文提供了一個(gè)全面的視角，來看待如何利用模型上下文協(xié)議（MCP）實(shí)現(xiàn)AI應(yīng)用架構(gòu)設(shè)計(jì)新范式的落地實(shí)現(xiàn)，核心內(nèi)容主要是以下5點(diǎn)：MCP概念與機(jī)制。MCP與FunctionCalling區(qū)別。MCP本質(zhì)與挑戰(zhàn)：挑戰(zhàn)包括系統(tǒng)提示詞的準(zhǔn)確性、Client與Server協(xié)同、快速構(gòu)建Server、自建Dify的痛點(diǎn)等。解決MCP挑戰(zhàn)的方法：通過MCPRegister、統(tǒng)一管理Server和Prompt、建立效果驗(yàn)證體系與安全保障、設(shè)置MCP網(wǎng)關(guān)、動(dòng)態(tài)服務(wù)發(fā)現(xiàn)、StreamableHTTP、彈性效率...

哈嘍各位AI圈的老鐵們，最近有個(gè)消息簡(jiǎn)直炸裂！我們的“牙膏廠”蘋果，竟然也悄悄地在端側(cè)AI領(lǐng)域扔下了一顆重磅炸彈——FastVLM！這可不是什么云里霧里的概念，而是個(gè)實(shí)打?qū)?、能直接在我們手里的iPhone、iPad、Mac上跑起來的視覺語(yǔ)言模型（VLM）。而且，它的名字里帶著個(gè)大寫的“Fast”，那速度，真的是快到讓你驚掉下巴！FastVLM是啥？簡(jiǎn)單來說，它讓你的設(shè)備有了“眼睛”和“嘴巴”想象一下，你拍了張照片，或者屏幕上有一張...

我們知道，檢索增強(qiáng)生成RAG通過整合外部知識(shí)庫(kù)與生成模型，有效緩解了大模型在專業(yè)領(lǐng)域的知識(shí)局限性。傳統(tǒng)的知識(shí)庫(kù)以文本為主，通常依賴于純文本嵌入來實(shí)現(xiàn)語(yǔ)義搜索和內(nèi)容檢索。然而，隨著多模態(tài)數(shù)據(jù)需求的增長(zhǎng)和復(fù)雜文檔處理場(chǎng)景的增多，傳統(tǒng)方法在處理混合格式文檔（如包含文本、圖像、表格的PDF）或長(zhǎng)上下文內(nèi)容時(shí)，往往面臨性能瓶頸。??CohereEmbedv4??的出現(xiàn)為這些挑戰(zhàn)提供了創(chuàng)新解決方案，其多模態(tài)嵌入能力和長(zhǎng)上下文...

那什么是粗暴的控制LLM的幻覺的方法呢？正常你們大家學(xué)到的應(yīng)該是temperature0topk1topp0.1類似這種的但是這種是不是能解決幻覺呢？很顯然在做的各位試過，應(yīng)該是沒什么效果的。為什么呢正常來講，我們不是把生成nexttoken的概率放到最大的那個(gè)token上了嗎？今天先回憶個(gè)概念LLM是靠什么來決定nexttoken生成的，就是Logit，就是softmax你的前向計(jì)算的最后一層（這么表達(dá)不精確，但是你可以認(rèn)為就算最后一層了）過了output之后呢...

對(duì)模型的泛化性能進(jìn)行評(píng)估，不僅需要有效可行的試驗(yàn)估計(jì)方法，還需要具有衡量模型泛化能力的評(píng)價(jià)標(biāo)準(zhǔn)，即性能度量。且在不同的任務(wù)中對(duì)比模型的性能時(shí)，使用不同的性能度量往往會(huì)導(dǎo)致不同的評(píng)判結(jié)果。在分類任務(wù)中，最常用的性能度量有錯(cuò)誤率、精度、查準(zhǔn)率、查全率、F1分?jǐn)?shù)及AUCROC曲線。本文將首先介紹錯(cuò)誤率、精度、查準(zhǔn)率、查全率、PR曲線與平衡點(diǎn)及F1分?jǐn)?shù)的詳細(xì)原理。1.錯(cuò)誤率與精度(1)錯(cuò)誤率(errorrate)是分類錯(cuò)誤的樣本...

在短視頻成為億萬用戶日常生活標(biāo)配的當(dāng)下，它不僅是一種娛樂方式，更是人們獲取信息、表達(dá)觀點(diǎn)、構(gòu)建社交的主要媒介。隨著內(nèi)容量的井噴式增長(zhǎng)，平臺(tái)面臨著前所未有的挑戰(zhàn)：一方面，需要更高效地識(shí)別和管理內(nèi)容；另一方面，必須精準(zhǔn)地將優(yōu)質(zhì)內(nèi)容推送給真正感興趣的用戶。大模型技術(shù)，尤其是多模態(tài)大模型，正迅速成為人工智能領(lǐng)域的新引擎，具備強(qiáng)大的圖文音視頻理解能力。但在短視頻生態(tài)這一復(fù)雜、高速演化的場(chǎng)景中，如何將這些...

剛剛，全球首個(gè)設(shè)計(jì)類AI智能體平臺(tái)Lovart正式開放Beta測(cè)試，短短數(shù)小時(shí)便引爆設(shè)計(jì)圈。這款被用戶戲稱為“賽博設(shè)計(jì)師”的工具，僅憑一句指令，就能從LOGO設(shè)計(jì)、品牌視覺系統(tǒng)到廣告成片全鏈路輸出，甚至主動(dòng)追問用戶需求細(xì)節(jié)。它打破了傳統(tǒng)AI工具的單點(diǎn)突破模式。不同于文生圖工具被動(dòng)接收指令，Lovart更像一位擁有自主決策能力的專業(yè)設(shè)計(jì)師。Lovart集成了GPTimage1、FluxPro、GeminiImagen3等12款頂尖模型，把這些能生成圖片、視...

編輯伊風(fēng)出品51CTO技術(shù)棧（微信號(hào)：blog51cto）第一批因?yàn)锳I裁員的公司，又把員工請(qǐng)回來了！曾信誓旦旦宣布“一個(gè)AI頂700個(gè)客服”的Klarna，如今不得不親自“打臉”。圖片這家全球領(lǐng)先的“先買后付”平臺(tái)（類似于國(guó)內(nèi)的“螞蟻花唄”），在2024年接入OpenAI技術(shù)后，便風(fēng)風(fēng)火火地AllinAI：暫停招聘、削減成本，甚至計(jì)劃用AI逐步取代多達(dá)數(shù)千名的外包客服。一年多過去了，這場(chǎng)“AI替代人類勞動(dòng)力”的實(shí)驗(yàn)被叫停了！Klarna再也無法...

1977年，英國(guó)生物化學(xué)家弗雷德里克·桑格（FrederickSanger）在解析ΦX174噬菌體基因組時(shí)，首次發(fā)現(xiàn)了一個(gè)顛覆認(rèn)知的現(xiàn)象：這個(gè)僅5.4kb的DNA分子編碼的蛋白質(zhì)總長(zhǎng)度，遠(yuǎn)超其物理容量限制。測(cè)序結(jié)果揭示，兩對(duì)基因通過不同閱讀框架共享同一DNA區(qū)域——這種被稱為重疊基因（OLG）的現(xiàn)象，在病毒世界中極為普遍。例如，乙型肝炎病毒3.2kb基因組中，50%區(qū)域被多對(duì)重疊基因覆蓋，超過半數(shù)已知病毒至少含有一個(gè)OLG。這種突破直覺的基...

編輯云昭出品51CTO技術(shù)棧（微信號(hào)：blog51cto）就在剛剛！OpenAI為其Agent代表作DeepResearch功能推出了一項(xiàng)全新的PDF導(dǎo)出功能，允許用戶下載格式完整的研究報(bào)告，包括表格、圖片和可點(diǎn)擊的引用鏈接。這一看似不起眼的小動(dòng)作意外引來了大批量用戶的歡呼！迅速贏得了40萬人的圍觀、5200+贊。圖片OpenAI在X平臺(tái)上宣布了這一功能：現(xiàn)在，用戶可以將DeepResearch報(bào)告導(dǎo)出為格式良好的PDF文件——包含表格、圖片、帶鏈接的引用和來源...

本文對(duì)o3、o4mini和Gemini2.5Pro這三種人工智能模型進(jìn)行了一系列測(cè)試，涵蓋物理謎題、數(shù)學(xué)問題、編碼任務(wù)及現(xiàn)實(shí)世界智商測(cè)試等，旨在評(píng)估它們?cè)趬毫ο碌母呒?jí)推理能力。隨著技術(shù)的發(fā)展和進(jìn)步，人工智能模型越來越智能，但究竟哪一種人工智能模型能在壓力下展現(xiàn)出真正的推理能力？本文對(duì)o3、o4mini和Gemini2.5Pro這三種人工智能模型進(jìn)行了一系列測(cè)試：物理謎題、數(shù)學(xué)問題、編碼任務(wù)和現(xiàn)實(shí)世界的智商測(cè)試。而應(yīng)對(duì)這些挑戰(zhàn)并沒有任...

Perception,Reason,Think,andPlan:ASurveyonLargeMultimodalReasoningModels20250508｜HIT,Shenzhen??79??http:arxiv.orgabs2505.04921v1??????https:huggingface.copapers2505.04921??????https:github.comHITszTMGAwesomeLargeMultimodalReasoningModels??研究背景與意義智能推理的核心地位：推理作為智能行為的核心，賦予人工智能系統(tǒng)在多變、不確定及多模態(tài)環(huán)境中做出決策、歸納總結(jié)及跨領(lǐng)域泛化的能力。隨...