劃重點:

- Google AI推出了SANPO數(shù)據(jù)集，用于戶外人類主觀場景理解。

- SANPO包括真實世界和合成數(shù)據(jù)，具有豐富的注釋和多屬性特征。

- 這個數(shù)據(jù)集將有助于研究人員開發(fā)視覺導(dǎo)航系統(tǒng)，支持視障人士，并拓展先進(jìn)的視覺場景理解。

站長之家（ChinaZ.com）10月16日 消息:Google AI最近推出了名為SANPO的數(shù)據(jù)集，旨在幫助AI模型更好地理解戶外人類主觀場景。這一數(shù)據(jù)集的重要性在于，它不僅包括真實世界的數(shù)據(jù)，還包括合成數(shù)據(jù)，以及豐富的注釋和多屬性特征。這個數(shù)據(jù)集的推出將有助于解決自動駕駛領(lǐng)域之外的人類主觀場景理解的問題。

SANPO數(shù)據(jù)集的名稱來源于其功能，包括“場景理解、可訪問性、導(dǎo)航、路徑規(guī)劃和障礙物避免”。它由真實世界數(shù)據(jù)和合成數(shù)據(jù)組成，其中真實世界數(shù)據(jù)包括來自兩個立體攝像頭的視頻，支持多視角方法。這個數(shù)據(jù)集還包括了11.4小時的視頻，以每秒15幀的速度捕獲，并具有密集的注釋。

為了保護隱私，Google的研究人員在數(shù)據(jù)采集過程中遵循了當(dāng)?shù)?、城市和州級的法律，并在發(fā)送數(shù)據(jù)進(jìn)行注釋之前，確保刪除了任何個人信息，如人臉和車輛牌照。

為了克服捕捉視頻時的不完美，比如運動模糊和人工評分錯誤，研究人員引入了SANPO-Synthetic，這是一個高質(zhì)量的合成數(shù)據(jù)集，旨在與真實世界的條件相匹配。SANPO-Synthetic包括1961個會話，使用虛擬化的Zed相機錄制，頭部和胸部位置均衡分布。

SANPO數(shù)據(jù)集的另一個特點是對一部分真實世界數(shù)據(jù)和合成數(shù)據(jù)進(jìn)行了全景實例掩模的注釋，為每個像素分配了類別和ID。與真實世界數(shù)據(jù)不同，SANPO-Synthetic每幀包含更多實例。此外，SANPO是唯一一個同時具有全景分割和深度圖像數(shù)據(jù)的數(shù)據(jù)集。

研究人員使用SANPO數(shù)據(jù)集訓(xùn)練了兩個最先進(jìn)的模型，分別用于深度估計和全景分割。他們發(fā)現(xiàn)，這一數(shù)據(jù)集對于密集預(yù)測任務(wù)來說非常具有挑戰(zhàn)性，而合成數(shù)據(jù)的準(zhǔn)確性要高于真實數(shù)據(jù)，這主要是因為真實世界的環(huán)境相對復(fù)雜，而合成數(shù)據(jù)的分割注釋更加精確。

SANPO數(shù)據(jù)集的推出填補了人類主觀場景理解領(lǐng)域缺乏數(shù)據(jù)集的空白，它包括真實世界和合成數(shù)據(jù)，具有豐富的注釋和多屬性特征，以及全景分割和深度信息的獨特組合。此外，研究人員的隱私承諾使這一數(shù)據(jù)集能夠支持其他研究人員開發(fā)面向視障人士的視覺導(dǎo)航系統(tǒng)，并推動先進(jìn)的視覺場景理解領(lǐng)域的發(fā)展。

SANPO博客介紹:https://blog.research.google/2023/10/sanpo-scene-understanding-accessibility.html

（舉報）