LLM若想高速推理，現(xiàn)如今，連GPU都無法滿足了?曾造出世界最大芯片公司Cerebras，剛剛發(fā)布了全球最快的AI推理架構——Cerebras Inference。運行Llama3.18B時，它能以1800token/s的速率吐出文字。不論是總結(jié)文檔，還是代碼生成等任務，響應幾乎一閃而過，快到讓你不敢相信自己的眼睛
......
本文由站長之家合作伙伴自媒體作者“新智元公眾號”授權發(fā)布于站長之家平臺，本平臺僅提供信息索引服務。由于內(nèi)容發(fā)布時間超過平臺更新維護時間，為了保證文章信息的及時性，內(nèi)容觀點的準確性，平臺將不提供完全的內(nèi)容展現(xiàn)，本頁面內(nèi)容僅為平臺搜索索引使用。需閱讀完整內(nèi)容的用戶，請查看原文，獲取內(nèi)容詳情。
（舉報）
11.11云上盛惠！海量產(chǎn)品 · 輕松上云！云服務器首年1.8折起，買1年送3個月！超值優(yōu)惠，性能穩(wěn)定，讓您的云端之旅更加暢享。快來騰訊云選購吧！
騰訊云
12-20
OpenAIo1的發(fā)布，再次給AI領域帶來了一場地震。o1能像人類一樣「思考」復雜問題，擁有優(yōu)秀的通用推理能力。從SambaNova的RDU開始，人工智能領域可能正在翻開全新的一頁。
海外知名云服務供應商DigitalOcean現(xiàn)已推出了搭載NVIDIAH100GPU的GPUDroplets云服務器。借助GPUDroplets，AI創(chuàng)業(yè)公司、開發(fā)者可以以更低的前期開發(fā)成本輕松地進行大語言模型訓練、開發(fā)AIGC項目，以及開展人工智能相關的業(yè)務，并且無需面對復雜服務端開發(fā)與維護問題。為了更好地服務中國區(qū)的企業(yè)，DigitalOcean中國區(qū)獨家戰(zhàn)略合作伙伴卓普云AIDroplet將為中國區(qū)的企業(yè)提供商務咨詢、技術支持等服務。
分析師郭明錤的最新報告指出，NVIDIAGB200芯片訂單量迎來爆炸性增長，其中微軟第四季度訂單量激增3到4倍，超過所有其他云服務商的總和。NVIDIABlackwell芯片的產(chǎn)能擴張預計將于2024年第四季度初啟動，預計第四季度出貨量在15萬到20萬塊之間2025年第一季度出貨量將增長200%到250%，達到50萬到55萬塊。其他云服務提供商訂單量則顯著低于微軟，如亞馬遜在2024年第四季度有300400機柜GB2
據(jù)外媒統(tǒng)計顯示，在過去二十年中，NVIDIA一直占據(jù)著GPU市場的主導地位，讓AMD無隙可乘。在人工智能行業(yè)大爆發(fā)之前，NVIDIA一直是消費級和專業(yè)級GPU的天下；現(xiàn)在依然保持著同樣的地位，但發(fā)展態(tài)勢已經(jīng)不同，AMD的份額創(chuàng)下新低，都快被擠出行業(yè)。NVIDIA及其巨大市場份額的關鍵時刻出現(xiàn)在加密貨幣挖礦熱潮期間，我們看到市場份額在這一時期飆升至80%。
【新智元導讀】LLM訓練速度還可以再飆升20倍!英偉達團隊祭出全新架構歸一化Transformer，上下文越長，訓練速度越快能維持原有精度。AI的未來，或許就此改寫......最近，英偉達團隊拋出的一枚重磅炸彈，提出了全新神經(jīng)網(wǎng)絡架構——歸一化Transformer，基于超球面進行表示學習。下圖6展示了，注意力模塊和MLP模塊的特征學習率，應用于MLP中間狀態(tài)的縮放因子，應用于QK點積之前?
就在一個月前，OpenAI悄悄發(fā)布了o1，o1的推理能力是有目共睹的。我當時用了幾個很難很難的測試樣例去試驗了一下，很多模型見了都會犯怵，開始胡說八道。
據(jù)報道，英偉達CEO黃仁勛最近表示，在臺積電的幫助下，英偉達最新款BlackwellAI芯片的設計缺陷已得到修復，該缺陷此前曾影響生產(chǎn)。在最近的高盛會議上，黃仁勛表示，這些芯片將在今年第四季度發(fā)貨。英偉達的Blackwell芯片采用了該公司之前產(chǎn)品大小的兩方硅片，并將它們結(jié)合在一起，形成一個單一的組件，在執(zhí)行諸如為聊天機器人提供答案之類的任務時，速度提高了30倍。
美國勞工統(tǒng)計局公布數(shù)據(jù)顯示，美國10月非農(nóng)新增就業(yè)人數(shù)驟降至1.2萬人，增速創(chuàng)2020年最慢紀錄，且遠不及預期的10萬人。美股三大股指當日全線收漲，擺脫了疲軟的10月非農(nóng)就業(yè)數(shù)據(jù)與ISM制造業(yè)活動指數(shù)的影響。英偉達作為AIGPU的領先供應商，能夠吸引更多投資者關注新興技術，傳統(tǒng)的半導體公司則面臨較大壓力，尤其是在數(shù)據(jù)處理、AI模型訓練等高增長領域。
在美股市場上，半導體巨頭英偉達遭遇了市值的大幅縮水。當?shù)貢r間10月15日，隨著美股三大指數(shù)的集體收跌，英偉達的股價也遭受重創(chuàng)，一夜之間市值蒸發(fā)了1587.1億美元，約合人民幣1.13萬億元。光刻機巨頭阿斯麥的股價也下跌超過16%，市值蒸發(fā)了數(shù)十億美元。
快科技10月8日消息，英偉達股價周一上漲逾2%，市值升至3.13萬億美元，超過微軟的3.04萬億美元，成為全球第二大公司。不過目前蘋果依然是第一，總市值3.37萬億美元。英偉達如今市值大漲主要就是受益于人工智能領域，目前市場上AI芯片需求巨大，出貨量極為強勁，推動了股價的上漲，自今年初以來已上漲一倍以上。近幾個月來，英偉達和微軟一直在與蘋果爭奪市值第一的寶?
URL Parser Online是一個在線工具，它能夠?qū)碗s的URL轉(zhuǎn)換為適合大型語言模型（LLMs）使用的輸入格式。這項技術的重要性在于它能夠幫助開發(fā)者和研究人員更有效地處理和解析URL數(shù)據(jù)，尤其是在進行網(wǎng)頁內(nèi)容分析和數(shù)據(jù)抽取時。產(chǎn)品背景信息顯示，隨著互聯(lián)網(wǎng)數(shù)據(jù)量的爆炸式增長，對URL的解析和處理需求日益增加。URL Parser Online以其簡潔的用戶界面和高效的解析能力，為用戶提供了一個便捷的解決方案。該產(chǎn)品目前提供免費服務，定位于開發(fā)者和數(shù)據(jù)分析師。
AI Summarizer是一個強大的AI摘要生成器，支持文本、PDF、視頻等多種格式的摘要生成。它通過先進的算法提取關鍵信息，幫助用戶快速理解內(nèi)容要點，提升工作和學習效率。產(chǎn)品支持超過50種語言，保障用戶隱私，不存儲任何上傳文件，并提供免費的Chrome擴展插件，方便用戶隨時隨地使用。
Transcribro是一款運行在Android平臺上的私有、設備端語音識別鍵盤和文字服務應用，它使用whisper.cpp來運行OpenAI Whisper系列模型，并結(jié)合Silero VAD進行語音活動檢測。該應用提供了語音輸入鍵盤，允許用戶通過語音進行文字輸入，并且可以被其他應用顯式使用，或者設置為用戶選擇的語音轉(zhuǎn)文字應用，部分應用可能會使用它來進行語音轉(zhuǎn)文字。Transcribro的背景是為用戶提供一種更安全、更私密的語音轉(zhuǎn)文字解決方案，避免了云端處理可能帶來的隱私泄露問題。該應用是開源的，用戶可以自由地查看、修改和分發(fā)代碼。
Oasis是由Decart AI開發(fā)的首個可玩、實時、開放世界的AI模型，它是一個互動視頻游戲，由Transformer端到端生成，基于逐幀生成。Oasis能夠接收用戶鍵盤和鼠標輸入，實時生成游戲玩法，內(nèi)部模擬物理、游戲規(guī)則和圖形。該模型通過直接觀察游戲玩法學習，允許用戶移動、跳躍、拾取物品、破壞方塊等。Oasis被視為研究更復雜交互世界的基礎模型的第一步，未來可能取代傳統(tǒng)的游戲引擎。Oasis的實現(xiàn)需要模型架構的改進和模型推理技術的突破，以實現(xiàn)用戶與模型的實時交互。Decart AI采用了最新的擴散訓練和Transformer模型方法，并結(jié)合了大型語言模型（LLMs）來訓練一個自回歸模型，該模型可以根據(jù)用戶即時動作生成視頻。此外，Decart AI還開發(fā)了專有的推理框架，以提供NVIDIA H100 Tensor Core GPU的峰值利用率，并支持Etched即將推出的Sohu芯片。
三頓智能助手是一個集成了多種AI功能的在線平臺，它通過提供問答、寫作、繪圖等多種服務，幫助用戶提高工作效率和創(chuàng)造力。該產(chǎn)品以其強大的AI技術背景和用戶友好的界面，為用戶提供了一個便捷的智能服務入口。價格方面，三頓智能助手提供免費試用，同時也提供付費服務以解鎖更多功能。
Explore Light Novels是一個AI驅(qū)動的輕小說閱讀平臺，旨在通過人工智能技術打破語言障礙，為全球讀者提供沉浸式的輕小說閱讀體驗。平臺擁有數(shù)千部流行輕小說，并提供AI驅(qū)動的個性化推薦，每日更新新章節(jié)和根據(jù)讀者偏好定制的新鮮內(nèi)容。此外，平臺還提供AI生成的文化背景注釋，幫助讀者深入了解故事背景，并通過AI推薦系統(tǒng)學習用戶的輕小說偏好，推薦新作者和故事。平臺還設有AI主持的全球社區(qū)討論，以及AI生成的每日內(nèi)容，確保讀者總有新鮮內(nèi)容可讀。
SDXL_EcomID_ComfyUI是一個為ComfyUI提供原生SDXL-EcomID支持的插件。它通過增強肖像表示，提供更真實、審美上更令人愉悅的外觀，同時確保語義一致性和更大的內(nèi)部ID相似性。這個插件完全集成于ComfyUI，并且不使用diffusers，而是本地實現(xiàn)EcomID。它的重要性在于能夠提升圖像生成的質(zhì)量和一致性，特別是在處理人物肖像時，能夠保持不同年齡、發(fā)型、眼鏡等物理變化下的內(nèi)部特征一致性。
Promega是一家在生命科學領域領先的公司，提供用于研究和應用技術的開創(chuàng)性生物試劑和集成系統(tǒng)。Promega通過自上而下地采用ChatGPT，幫助員工更高效地管理數(shù)千種產(chǎn)品和超過60,000個賬戶，從而加速產(chǎn)品交付到生物技術生態(tài)系統(tǒng)。ChatGPT的使用不僅提高了工作效率，還增強了客戶關系，并在制造、銷售和市場營銷等多個領域發(fā)揮了重要作用。
Excerptor是一個專門設計來從實體書籍中提取劃線或手寫標記文本的工具。它通過圖像處理和光學字符識別技術，將書籍中的標記文本轉(zhuǎn)換為數(shù)字格式，方便用戶編輯和保存。這項技術的重要性在于它能夠幫助用戶快速從大量書籍中提取關鍵信息，提高研究和學習的效率。Excerptor以其高效、準確的文本識別能力和用戶友好的操作界面，滿足了學術研究、教育和個人學習等不同領域的需求。目前，Excerptor是免費提供給用戶的，它的開發(fā)和維護由開源社區(qū)負責。
Spafe Code是一個利用人工智能技術實現(xiàn)代碼翻譯的平臺，它能夠?qū)⒋a從一種編程語言翻譯成另一種編程語言。這項技術的重要性在于它能夠幫助開發(fā)者跨越語言障礙，提高代碼的可讀性和可維護性，促進全球開發(fā)者之間的協(xié)作。Spafe Code以其高效的翻譯能力、易用性和對多種編程語言的支持而受到開發(fā)者的歡迎。目前，Spafe Code提供免費試用，具體價格和定位信息需要進一步查詢。
Browser AI Kit是一個集成了多種AI工具的平臺，用戶可以在瀏覽器中直接使用這些工具，無需安裝或設置。它提供了音頻轉(zhuǎn)文本、去除背景、文本轉(zhuǎn)語音等多種功能，并且完全免費。這個工具箱基于Transformers.js開發(fā)，強調(diào)數(shù)據(jù)安全和隱私保護，所有數(shù)據(jù)處理都在本地進行，不上傳任何服務器。它的目標是為用戶提供一個便捷、安全、多功能的AI工具平臺。
Emotive AI Actors by CreatorKit是一個利用人工智能技術創(chuàng)建用戶生成內(nèi)容（UGC）視頻和廣告的平臺。它通過與真實UGC演員和內(nèi)容策略師合作訓練AI，使得用戶能夠快速創(chuàng)建出具有真實情感反應的視頻廣告。這個產(chǎn)品的重要性在于它能夠以更低的成本、更快的速度和更好的性能來替代傳統(tǒng)的視頻制作方式，同時提供可擴展的解決方案，允許用戶在幾分鐘內(nèi)創(chuàng)建出100個視頻廣告。AI Actors的主要優(yōu)點包括成本效益、快速制作、性能優(yōu)越和易于擴展。
SELA是一個創(chuàng)新系統(tǒng)，它通過將蒙特卡洛樹搜索(MCTS)與基于大型語言模型(LLM)的代理結(jié)合起來，增強了自動化機器學習（AutoML）。傳統(tǒng)的AutoML方法經(jīng)常產(chǎn)生低多樣性和次優(yōu)的代碼，限制了它們在模型選擇和集成方面的有效性。SELA通過將管道配置表示為樹，使代理能夠智能地探索解決方案空間，并根據(jù)實驗反饋迭代改進其策略。
Universal-2是AssemblyAI推出的最新語音識別模型，它在準確度和精確度上超越了前一代Universal-1，能夠更好地捕捉人類語言的復雜性，為用戶提供無需二次檢查的音頻數(shù)據(jù)。這一技術的重要性在于它能夠為產(chǎn)品體驗提供更敏銳的洞察力、更快的工作流程和一流的產(chǎn)品體驗。Universal-2在專有名詞識別、文本格式化和字母數(shù)字識別方面都有顯著提升，減少了實際應用中的詞錯誤率。
Laminar是一個開源的全棧平臺，專注于從第一性原理出發(fā)進行AI工程。它幫助用戶收集、理解和使用數(shù)據(jù)，以提高大型語言模型（LLM）應用的質(zhì)量。Laminar支持對文本和圖像模型的追蹤，并且即將支持音頻模型。產(chǎn)品的主要優(yōu)點包括零開銷的可觀測性、在線評估、數(shù)據(jù)集構建和LLM鏈管理。Laminar完全開源，易于自托管，適合需要構建和管理LLM產(chǎn)品的開發(fā)者和團隊。
HOVER是一個針對人形機器人的多功能神經(jīng)全身控制器，它通過模仿全身運動來提供通用的運動技能，學習多種全身控制模式。HOVER通過多模式策略蒸餾框架將不同的控制模式整合到一個統(tǒng)一的策略中，實現(xiàn)了在不同控制模式之間的無縫切換，同時保留了每種模式的獨特優(yōu)勢。這種控制器提高了人形機器人在多種模式下的控制效率和靈活性，為未來的機器人應用提供了一個健壯且可擴展的解決方案。
Hiring Assistant for Recruiter & Jobs是LinkedIn推出的一款AI助手，旨在幫助招聘人員自動化執(zhí)行耗時的任務，從而讓他們專注于更有影響力的、以人為中心的工作部分。這款產(chǎn)品代表了LinkedIn在利用人工智能技術優(yōu)化招聘流程方面邁出的重要一步，它通過自動構建候選人管道、篩選頂級申請者、起草外展郵件甚至回答有關角色的基本問題來減輕招聘人員的工作負擔。產(chǎn)品背景信息顯示，LinkedIn一直致力于通過AI技術提升用戶體驗，而Hiring Assistant的推出進一步強化了這一點。產(chǎn)品定位于幫助招聘人員提高效率，同時保持對招聘過程的完全控制。
Fable是一款AI驅(qū)動的交互式產(chǎn)品演示軟件，旨在幫助企業(yè)通過創(chuàng)建高轉(zhuǎn)化率的產(chǎn)品演示來吸引潛在客戶、完成交易并簡化產(chǎn)品上線流程。Fable通過其AI技術，允許用戶輕松創(chuàng)建個性化的演示，這些演示可以嵌入網(wǎng)站、通過電子郵件發(fā)送或添加到幫助中心。產(chǎn)品背景信息顯示，F(xiàn)able在G2上獲得了4.9的高評分，并被全球各地的GTM團隊所信賴。Fable的價格定位是免費試用和付費，適合需要提高銷售轉(zhuǎn)化率和客戶滿意度的商業(yè)團隊。
Trieve是一個AI優(yōu)先的基礎設施API，結(jié)合了語言模型和工具，用于微調(diào)排名和相關性，提供一站式的搜索、推薦、RAG和分析解決方案。它能夠自動持續(xù)改進，基于數(shù)十個反饋信號，確保相關性。Trieve支持語義向量搜索、BM25和SPlade全文搜索，以及混合搜索，結(jié)合全文搜索和語義向量搜索。此外，它還提供了商品推銷和相關性調(diào)整功能，幫助用戶通過API或無代碼儀表板調(diào)整搜索結(jié)果以實現(xiàn)KPI。Trieve建立在最佳基礎之上，使用開源嵌入模型和LLMs，運行在自己的服務器上，確保數(shù)據(jù)安全。
Open Source AI Definition（OSAID）是由Open Source Initiative（OSI）發(fā)布的行業(yè)首個開源人工智能定義。它提供了一個標準，通過社區(qū)領導的開放和公共評估來驗證一個AI系統(tǒng)是否可以被認為是開源AI。OSAID v1.0的發(fā)布是多年研究和合作的結(jié)果，經(jīng)過國際研討會和為期一年的共同設計過程。這個定義要求開源模型提供足夠的訓練數(shù)據(jù)信息，以便熟練的人可以使用相同或類似的數(shù)據(jù)重建一個大致等效的系統(tǒng)。OSAID的發(fā)布對于推動AI領域的開放性、透明度和合作具有重要意義，它強調(diào)了開源原則在AI發(fā)展中的核心地位，并為獨立機器學習研究人員和大型AI開發(fā)者之間的透明度提供了支持。
