【新智元導讀】MLPerf Inference發(fā)布了最新測試結果，英偉達最新的Blackwell架構芯片上場與谷歌、AMD同場競技，展現(xiàn)出明顯的性能提升，甚至刷新了部分任務上的測試紀錄。大語言模型（LLM）推理是一個全棧挑戰(zhàn)。為了實現(xiàn)高吞吐量、低延遲的性能，不僅需要強大的GPU，還需要高帶寬的
......
本文由站長之家合作伙伴自媒體作者“新智元公眾號”授權發(fā)布于站長之家平臺，本平臺僅提供信息索引服務。由于內容發(fā)布時間超過平臺更新維護時間，為了保證文章信息的及時性，內容觀點的準確性，平臺將不提供完全的內容展現(xiàn)，本頁面內容僅為平臺搜索索引使用。需閱讀完整內容的用戶，請查看原文，獲取內容詳情。
（舉報）
11.11云上盛惠！海量產品 · 輕松上云！云服務器首年1.8折起，買1年送3個月！超值優(yōu)惠，性能穩(wěn)定，讓您的云端之旅更加暢享?？靵眚v訊云選購吧！
騰訊云
12-20
據(jù)報道，英偉達CEO黃仁勛最近表示，在臺積電的幫助下，英偉達最新款BlackwellAI芯片的設計缺陷已得到修復，該缺陷此前曾影響生產。在最近的高盛會議上，黃仁勛表示，這些芯片將在今年第四季度發(fā)貨。英偉達的Blackwell芯片采用了該公司之前產品大小的兩方硅片，并將它們結合在一起，形成一個單一的組件，在執(zhí)行諸如為聊天機器人提供答案之類的任務時，速度提高了30倍。
分析師郭明錤的最新報告指出，NVIDIAGB200芯片訂單量迎來爆炸性增長，其中微軟第四季度訂單量激增3到4倍，超過所有其他云服務商的總和。NVIDIABlackwell芯片的產能擴張預計將于2024年第四季度初啟動，預計第四季度出貨量在15萬到20萬塊之間2025年第一季度出貨量將增長200%到250%，達到50萬到55萬塊。其他云服務提供商訂單量則顯著低于微軟，如亞馬遜在2024年第四季度有300400機柜GB2
OpenAIo1的發(fā)布，再次給AI領域帶來了一場地震。o1能像人類一樣「思考」復雜問題，擁有優(yōu)秀的通用推理能力。從SambaNova的RDU開始，人工智能領域可能正在翻開全新的一頁。
美國勞工統(tǒng)計局公布數(shù)據(jù)顯示，美國10月非農新增就業(yè)人數(shù)驟降至1.2萬人，增速創(chuàng)2020年最慢紀錄，且遠不及預期的10萬人。美股三大股指當日全線收漲，擺脫了疲軟的10月非農就業(yè)數(shù)據(jù)與ISM制造業(yè)活動指數(shù)的影響。英偉達作為AIGPU的領先供應商，能夠吸引更多投資者關注新興技術，傳統(tǒng)的半導體公司則面臨較大壓力，尤其是在數(shù)據(jù)處理、AI模型訓練等高增長領域。
NVIDIACEO黃仁勛在最近的一次采訪中表示，外界對Blackwell的需求太瘋狂了”?？蛻魧lackwell芯片的渴望非常強烈，每個人都想成為第一個收到貨的人，并且想要盡可能多的產品。黃仁勛表示，技術的快速發(fā)展為NVIDIA提供了加倍努力的機會，推動創(chuàng)新周期，提高產能、增加產出、降低成本、減少能源消耗。
彭博億萬富翁指數(shù)最新顯示，NVIDIA公司創(chuàng)始人兼CEO黃仁勛個人身價已達1090億美元，排名全球富豪榜第13名，這一數(shù)字已經(jīng)超過了Intel的總市值。NVIDIA的股價在2023年全年累漲了近240%，創(chuàng)下了自2001年以來的最大年度漲幅。NVIDIA計劃每年都會更新AI平臺，像Hopper到Blackwell那樣每年將性能提高2到3倍，那么客戶的收入就能提高幾倍，或者每2到3年減少一次成本。
當下，AI如時代洪流，沖擊著各行各業(yè)。所有人都在擔心，我會被AI取代嗎？自己每天都會使用ChatGPT，并相信其推理能力將越來越強，答案的質量也會顯著提升。
【新智元導讀】LLM訓練速度還可以再飆升20倍!英偉達團隊祭出全新架構歸一化Transformer，上下文越長，訓練速度越快能維持原有精度。AI的未來，或許就此改寫......最近，英偉達團隊拋出的一枚重磅炸彈，提出了全新神經(jīng)網(wǎng)絡架構——歸一化Transformer，基于超球面進行表示學習。下圖6展示了，注意力模塊和MLP模塊的特征學習率，應用于MLP中間狀態(tài)的縮放因子，應用于QK點積之前?
在今天的聯(lián)想2024年度全球創(chuàng)新活動TechWorld上，聯(lián)想發(fā)布了第六代垂直液冷產品ThinkSystemN1380Neptune，為生成式AI的計算提供動力。聯(lián)想與英偉達合作推出聯(lián)想混合式AI全面優(yōu)勢集，推出ThinkSystemSC777V4Neptune，該服務器利用新的ThinkSystemN1380Neptune，號稱在緊湊的設計中實現(xiàn)萬億參數(shù)的AI模型。第六代聯(lián)想Neptune已全面覆蓋聯(lián)想服務器、解決方案和服務的端到端混合AI產品組合。
在美股市場上，半導體巨頭英偉達遭遇了市值的大幅縮水。當?shù)貢r間10月15日，隨著美股三大指數(shù)的集體收跌，英偉達的股價也遭受重創(chuàng)，一夜之間市值蒸發(fā)了1587.1億美元，約合人民幣1.13萬億元。光刻機巨頭阿斯麥的股價也下跌超過16%，市值蒸發(fā)了數(shù)十億美元。
URL Parser Online是一個在線工具，它能夠將復雜的URL轉換為適合大型語言模型（LLMs）使用的輸入格式。這項技術的重要性在于它能夠幫助開發(fā)者和研究人員更有效地處理和解析URL數(shù)據(jù)，尤其是在進行網(wǎng)頁內容分析和數(shù)據(jù)抽取時。產品背景信息顯示，隨著互聯(lián)網(wǎng)數(shù)據(jù)量的爆炸式增長，對URL的解析和處理需求日益增加。URL Parser Online以其簡潔的用戶界面和高效的解析能力，為用戶提供了一個便捷的解決方案。該產品目前提供免費服務，定位于開發(fā)者和數(shù)據(jù)分析師。
AI Summarizer是一個強大的AI摘要生成器，支持文本、PDF、視頻等多種格式的摘要生成。它通過先進的算法提取關鍵信息，幫助用戶快速理解內容要點，提升工作和學習效率。產品支持超過50種語言，保障用戶隱私，不存儲任何上傳文件，并提供免費的Chrome擴展插件，方便用戶隨時隨地使用。
Transcribro是一款運行在Android平臺上的私有、設備端語音識別鍵盤和文字服務應用，它使用whisper.cpp來運行OpenAI Whisper系列模型，并結合Silero VAD進行語音活動檢測。該應用提供了語音輸入鍵盤，允許用戶通過語音進行文字輸入，并且可以被其他應用顯式使用，或者設置為用戶選擇的語音轉文字應用，部分應用可能會使用它來進行語音轉文字。Transcribro的背景是為用戶提供一種更安全、更私密的語音轉文字解決方案，避免了云端處理可能帶來的隱私泄露問題。該應用是開源的，用戶可以自由地查看、修改和分發(fā)代碼。
Oasis是由Decart AI開發(fā)的首個可玩、實時、開放世界的AI模型，它是一個互動視頻游戲，由Transformer端到端生成，基于逐幀生成。Oasis能夠接收用戶鍵盤和鼠標輸入，實時生成游戲玩法，內部模擬物理、游戲規(guī)則和圖形。該模型通過直接觀察游戲玩法學習，允許用戶移動、跳躍、拾取物品、破壞方塊等。Oasis被視為研究更復雜交互世界的基礎模型的第一步，未來可能取代傳統(tǒng)的游戲引擎。Oasis的實現(xiàn)需要模型架構的改進和模型推理技術的突破，以實現(xiàn)用戶與模型的實時交互。Decart AI采用了最新的擴散訓練和Transformer模型方法，并結合了大型語言模型（LLMs）來訓練一個自回歸模型，該模型可以根據(jù)用戶即時動作生成視頻。此外，Decart AI還開發(fā)了專有的推理框架，以提供NVIDIA H100 Tensor Core GPU的峰值利用率，并支持Etched即將推出的Sohu芯片。
三頓智能助手是一個集成了多種AI功能的在線平臺，它通過提供問答、寫作、繪圖等多種服務，幫助用戶提高工作效率和創(chuàng)造力。該產品以其強大的AI技術背景和用戶友好的界面，為用戶提供了一個便捷的智能服務入口。價格方面，三頓智能助手提供免費試用，同時也提供付費服務以解鎖更多功能。
Explore Light Novels是一個AI驅動的輕小說閱讀平臺，旨在通過人工智能技術打破語言障礙，為全球讀者提供沉浸式的輕小說閱讀體驗。平臺擁有數(shù)千部流行輕小說，并提供AI驅動的個性化推薦，每日更新新章節(jié)和根據(jù)讀者偏好定制的新鮮內容。此外，平臺還提供AI生成的文化背景注釋，幫助讀者深入了解故事背景，并通過AI推薦系統(tǒng)學習用戶的輕小說偏好，推薦新作者和故事。平臺還設有AI主持的全球社區(qū)討論，以及AI生成的每日內容，確保讀者總有新鮮內容可讀。
SDXL_EcomID_ComfyUI是一個為ComfyUI提供原生SDXL-EcomID支持的插件。它通過增強肖像表示，提供更真實、審美上更令人愉悅的外觀，同時確保語義一致性和更大的內部ID相似性。這個插件完全集成于ComfyUI，并且不使用diffusers，而是本地實現(xiàn)EcomID。它的重要性在于能夠提升圖像生成的質量和一致性，特別是在處理人物肖像時，能夠保持不同年齡、發(fā)型、眼鏡等物理變化下的內部特征一致性。
Promega是一家在生命科學領域領先的公司，提供用于研究和應用技術的開創(chuàng)性生物試劑和集成系統(tǒng)。Promega通過自上而下地采用ChatGPT，幫助員工更高效地管理數(shù)千種產品和超過60,000個賬戶，從而加速產品交付到生物技術生態(tài)系統(tǒng)。ChatGPT的使用不僅提高了工作效率，還增強了客戶關系，并在制造、銷售和市場營銷等多個領域發(fā)揮了重要作用。
Excerptor是一個專門設計來從實體書籍中提取劃線或手寫標記文本的工具。它通過圖像處理和光學字符識別技術，將書籍中的標記文本轉換為數(shù)字格式，方便用戶編輯和保存。這項技術的重要性在于它能夠幫助用戶快速從大量書籍中提取關鍵信息，提高研究和學習的效率。Excerptor以其高效、準確的文本識別能力和用戶友好的操作界面，滿足了學術研究、教育和個人學習等不同領域的需求。目前，Excerptor是免費提供給用戶的，它的開發(fā)和維護由開源社區(qū)負責。
Spafe Code是一個利用人工智能技術實現(xiàn)代碼翻譯的平臺，它能夠將代碼從一種編程語言翻譯成另一種編程語言。這項技術的重要性在于它能夠幫助開發(fā)者跨越語言障礙，提高代碼的可讀性和可維護性，促進全球開發(fā)者之間的協(xié)作。Spafe Code以其高效的翻譯能力、易用性和對多種編程語言的支持而受到開發(fā)者的歡迎。目前，Spafe Code提供免費試用，具體價格和定位信息需要進一步查詢。
Browser AI Kit是一個集成了多種AI工具的平臺，用戶可以在瀏覽器中直接使用這些工具，無需安裝或設置。它提供了音頻轉文本、去除背景、文本轉語音等多種功能，并且完全免費。這個工具箱基于Transformers.js開發(fā)，強調數(shù)據(jù)安全和隱私保護，所有數(shù)據(jù)處理都在本地進行，不上傳任何服務器。它的目標是為用戶提供一個便捷、安全、多功能的AI工具平臺。
Emotive AI Actors by CreatorKit是一個利用人工智能技術創(chuàng)建用戶生成內容（UGC）視頻和廣告的平臺。它通過與真實UGC演員和內容策略師合作訓練AI，使得用戶能夠快速創(chuàng)建出具有真實情感反應的視頻廣告。這個產品的重要性在于它能夠以更低的成本、更快的速度和更好的性能來替代傳統(tǒng)的視頻制作方式，同時提供可擴展的解決方案，允許用戶在幾分鐘內創(chuàng)建出100個視頻廣告。AI Actors的主要優(yōu)點包括成本效益、快速制作、性能優(yōu)越和易于擴展。
SELA是一個創(chuàng)新系統(tǒng)，它通過將蒙特卡洛樹搜索(MCTS)與基于大型語言模型(LLM)的代理結合起來，增強了自動化機器學習（AutoML）。傳統(tǒng)的AutoML方法經(jīng)常產生低多樣性和次優(yōu)的代碼，限制了它們在模型選擇和集成方面的有效性。SELA通過將管道配置表示為樹，使代理能夠智能地探索解決方案空間，并根據(jù)實驗反饋迭代改進其策略。
Universal-2是AssemblyAI推出的最新語音識別模型，它在準確度和精確度上超越了前一代Universal-1，能夠更好地捕捉人類語言的復雜性，為用戶提供無需二次檢查的音頻數(shù)據(jù)。這一技術的重要性在于它能夠為產品體驗提供更敏銳的洞察力、更快的工作流程和一流的產品體驗。Universal-2在專有名詞識別、文本格式化和字母數(shù)字識別方面都有顯著提升，減少了實際應用中的詞錯誤率。
Laminar是一個開源的全棧平臺，專注于從第一性原理出發(fā)進行AI工程。它幫助用戶收集、理解和使用數(shù)據(jù)，以提高大型語言模型（LLM）應用的質量。Laminar支持對文本和圖像模型的追蹤，并且即將支持音頻模型。產品的主要優(yōu)點包括零開銷的可觀測性、在線評估、數(shù)據(jù)集構建和LLM鏈管理。Laminar完全開源，易于自托管，適合需要構建和管理LLM產品的開發(fā)者和團隊。
HOVER是一個針對人形機器人的多功能神經(jīng)全身控制器，它通過模仿全身運動來提供通用的運動技能，學習多種全身控制模式。HOVER通過多模式策略蒸餾框架將不同的控制模式整合到一個統(tǒng)一的策略中，實現(xiàn)了在不同控制模式之間的無縫切換，同時保留了每種模式的獨特優(yōu)勢。這種控制器提高了人形機器人在多種模式下的控制效率和靈活性，為未來的機器人應用提供了一個健壯且可擴展的解決方案。
Hiring Assistant for Recruiter & Jobs是LinkedIn推出的一款AI助手，旨在幫助招聘人員自動化執(zhí)行耗時的任務，從而讓他們專注于更有影響力的、以人為中心的工作部分。這款產品代表了LinkedIn在利用人工智能技術優(yōu)化招聘流程方面邁出的重要一步，它通過自動構建候選人管道、篩選頂級申請者、起草外展郵件甚至回答有關角色的基本問題來減輕招聘人員的工作負擔。產品背景信息顯示，LinkedIn一直致力于通過AI技術提升用戶體驗，而Hiring Assistant的推出進一步強化了這一點。產品定位于幫助招聘人員提高效率，同時保持對招聘過程的完全控制。
Fable是一款AI驅動的交互式產品演示軟件，旨在幫助企業(yè)通過創(chuàng)建高轉化率的產品演示來吸引潛在客戶、完成交易并簡化產品上線流程。Fable通過其AI技術，允許用戶輕松創(chuàng)建個性化的演示，這些演示可以嵌入網(wǎng)站、通過電子郵件發(fā)送或添加到幫助中心。產品背景信息顯示，F(xiàn)able在G2上獲得了4.9的高評分，并被全球各地的GTM團隊所信賴。Fable的價格定位是免費試用和付費，適合需要提高銷售轉化率和客戶滿意度的商業(yè)團隊。
Trieve是一個AI優(yōu)先的基礎設施API，結合了語言模型和工具，用于微調排名和相關性，提供一站式的搜索、推薦、RAG和分析解決方案。它能夠自動持續(xù)改進，基于數(shù)十個反饋信號，確保相關性。Trieve支持語義向量搜索、BM25和SPlade全文搜索，以及混合搜索，結合全文搜索和語義向量搜索。此外，它還提供了商品推銷和相關性調整功能，幫助用戶通過API或無代碼儀表板調整搜索結果以實現(xiàn)KPI。Trieve建立在最佳基礎之上，使用開源嵌入模型和LLMs，運行在自己的服務器上，確保數(shù)據(jù)安全。
Open Source AI Definition（OSAID）是由Open Source Initiative（OSI）發(fā)布的行業(yè)首個開源人工智能定義。它提供了一個標準，通過社區(qū)領導的開放和公共評估來驗證一個AI系統(tǒng)是否可以被認為是開源AI。OSAID v1.0的發(fā)布是多年研究和合作的結果，經(jīng)過國際研討會和為期一年的共同設計過程。這個定義要求開源模型提供足夠的訓練數(shù)據(jù)信息，以便熟練的人可以使用相同或類似的數(shù)據(jù)重建一個大致等效的系統(tǒng)。OSAID的發(fā)布對于推動AI領域的開放性、透明度和合作具有重要意義，它強調了開源原則在AI發(fā)展中的核心地位，并為獨立機器學習研究人員和大型AI開發(fā)者之間的透明度提供了支持。
