最近舉行的2024進博會，是了解索尼中國最新創新技術與本土實踐的一個窗口。第三次亮相進博會的索尼，此次重點展示了以科技激發創意的探索與成果。

進博會前，東西文娛/共同虛擬已參加過一次小范圍交流。索尼聲明了在華的業務，大的趨勢是穩步中增長。（相關鏈接：巨頭索尼“洞察”中國：看好互動沉浸娛樂產業發展，虛擬制作、沉浸娛樂、LBE大空間、主機游戲是關鍵詞）

而在此次進博會期間，東西文娛/共同虛擬圍繞與沉浸娛樂和虛擬制作相關的兩項創新技術，與索尼在華最高技術負責人和項目首席創意制作人，就技術原理、發展路線、未來應用等，有了進一步交流。

此次索尼重點推出兩項技術：地板觸覺反饋技術、虛擬形象捕捉解決方案。其中，地板觸覺反饋技術是第一次引入中國。

根據索尼的規劃，目前這兩項技術已優先與索尼旗下娛樂相關版塊合作。也就是說，即將在索尼影視、游戲等項目中看到技術的實際應用。

與此同時，索尼中國希望推進技術在中國的本土化應用，加強與中國本土娛樂、文博等領域機構與創作者的合作。

索尼中國品牌推廣辦公室總經理、公司項目首席創意制作人西岡靖就表示，索尼到底要朝哪個方向去，實際上很簡單，就是貼近人。

具體來說，就是和創造感動的人士一起，通過索尼的創新技術來創造出優質的產品和內容，然后提供感動。而為了讓創作者對新的創作技術心馳神往，激發他們的熱情，并更好利用技術創造感動，索尼將從三個方面入手：

“第一，是索尼自己的獨一無二的技術；第二，本土化的自產自銷的做法，第三，通過創造感動的體驗來實現這一點。”

沉浸娛樂體驗：地板觸覺反饋技術

1、技術原理

“觸覺技術的范圍是比較廣的，比方說有力量、壓力，或者是溫度、疼痛的感覺等等，這些都是廣義上的觸覺的技術。

振動觸覺的技術，可以類比音箱。它的工作原理是這樣的，把聲音通過膜的振動來加以獲得。人類耳朵能夠獲得的聲音的范圍是20赫茲到2萬赫茲。如果聲音低于一定的赫茲，則可以通過人體的皮膚來獲得。人體皮膚類似于一個受體，它能夠起到傳感器的作用，把這種低赫茲的聲音捕捉過來。

為此，我們針對300赫茲以下的低頻的聲音做了特殊的處理，并以地板方式來呈現。也就是通過地板對聲音的振動，來使自己的腳心體驗到這種聲音。”

2、技術應用方向和場景

“我們這種技術，對于音樂的波形是可以定制的，按照自己喜愛的方式來加以體現。比如感覺走在水上、干燥的落葉、冰上。另外，它還有一個特點，可以模塊化組裝，因此非常容易運輸、搬動，可以在任何地方根據需要來進行組合。

將它跟其他各個感官結合起來，像人本來所擁有的觸覺，或者是嗅覺、聽覺等等結合，能打造更為充滿沉浸感的空間。

現在，包括博物館、美術館，很多地方在做數字藝術的展示，可以很好地利用這項技術。原來是靜止展示的，比方說恐龍館，通過這個技術，就能夠感覺恐龍是會動的。

還有一個，通過這種技術，能夠把人帶到自己不能夠去或者永遠不能夠實現去看一看這種心愿的地方。比如在冰上行走，其實很多人都沒有這種經歷。如果說到更加極端的例子的話，很少有人去月球、去太空，但是通過我們的技術，能夠讓你身臨其境感覺到去月球、太空的可能。”

3、打造觸覺波形數據庫

“我們現在知道，如果是200赫茲的刺激的話，皮膚會感到是讓人給點了一下，或者是觸摸了一下。而如果是5赫茲這種波形的話，它讓人感覺非常柔軟。我們對于各種皮膚能夠感受到的觸覺的波形，正在打造一個類似于數據庫的東西。

隨著我們這個數據庫越建越強的話，最終就不需要再進行客制化的定制。只要調用現有的波形，就可以實現你要達到的觸覺的體驗。

目前的觸覺數據庫里已經積累了很多觸覺波形，基本上都已經覆蓋了。另外，索尼對技術非常開放，我們希望利用這個技術，由更多的創作者跟我們一起去打造更多體驗。因此索尼一方面自己會努力，另一方面是聯合更多的創作者一起來做這個事情。”

虛擬制作：虛擬形象捕捉解決方案

1、技術原理

“具體來說，它是一個融合了數字3D技術和對人物進行實地捕捉之后，進行融合形成全新內容的技術。

有一個能夠全方位捕捉360度影像的多鏡頭系統，然后把人物或者是場景用這個多鏡頭系統完全捕捉過來。在此之后，會有個重建的過程。因為是360度的多鏡頭系統，所以每個側面都會被精確地掌握。”

2、技術應用場景

“鏡頭捕捉獲得的數據可以有多樣的應用范圍，比如在虛擬空間作為數字資產或者是用于VR、游戲等。另外，整套系統還可以用于包括體育、賽事、娛樂等等的場景之中，因為它可以提供自由視角的拍攝的場景。

進博會上特別設計了展示內容。參觀者可體驗通過360度影棚拍攝并創建自己的3D虛擬形象，并使用自己的虛擬形象，游玩互動游戲，這其中就需要通過索尼AI驅動的3D建模算法。

我們還設計了兩個游戲，可以用自己的3D形象來進行參與。第一個是虛擬形象互動游戲——環保英雄：城市復蘇，用戶可以與來自于城市所誕生的眾多垃圾形成的靈或者怪物進行互動，最終挽救這個城市。

還有一個是虛擬形象舞——自然的節奏：生態健身之旅。我們用獲得的數字資產所形成的虛擬人，他能夠跟場景進行非常自然的融合，而且在這呈現自己的太極拳的功夫。”

3、未來技術迭代方向：借助AI力量、降低成本

“索尼虛擬形象捕捉解決方案，目前是要36臺攝像機一起聯動工作才能夠實現的。因此我們在加大研發力度，是不是能夠用更少的相機就做到這一點？這方面可能還要借助AI的力量。我們的愿景是能夠實時、高清晰地獲得相應的畫面，而且以成本更低、更加方便的方式實現。”

“在AI的導入方面，索尼已經在硬件方面做出了成績，具體來說是索尼的傳感器的模組之中已經搭載了AI的功能，所以作為消費者，可以實際體驗到索尼的AI能力的。另外，我們在研究所里已經嘗試應用AIGC，也就是AI的大模型的自動生成三維的數據。”