任何深諳設備維護必要性的人都知道，設備發(fā)出的聲音和振動(dòng)有多重要。通過(guò)聲音和振動(dòng)進(jìn)行適當的設備健康監測，可以將維護成本降低一半，使用壽命延長(cháng)一倍。實(shí)現實(shí)時(shí)聲學(xué)數據和分析是另一種重要的基于狀態(tài)的系統監測 (CbM) 方法。

我們可以學(xué)著(zhù)了解設備發(fā)出的正常聲音是什么樣的。當聲音出現變化時(shí)，我們可以確認出現異常。然后我們可以了解是什么問(wèn)題，通過(guò)這樣的方式把聲音和特定的問(wèn)題聯(lián)系在一起。識別異�？赡苄枰�進(jìn)行幾分鐘的訓練，但將聲音、振動(dòng)和原因結合起來(lái)實(shí)施診斷可能需要一輩子的時(shí)間。經(jīng)驗豐富的技工人員和工程師可能具備這種知識，但他們屬于稀缺資源。單單通過(guò)聲音本身識別問(wèn)題可能相當困難，即使使用錄音、描述性框架或接受專(zhuān)家親自培訓也是如此。

因此，ADI 公司團隊在過(guò)去 20 年里一直致力于理解人類(lèi)是如何解讀聲音和振動(dòng)的。我們的目標是建立一個(gè)系統，能夠學(xué)習來(lái)自設備的聲音和振動(dòng)，破譯它們的含義，以檢測異常行為，并進(jìn)行診斷。本文詳細介紹了 OtoSense 的體系結構，它是一種設備健康監測系統，支持我們所說(shuō)的計算機聽(tīng)覺(jué)，讓計算機能夠理解設備行為的主要指標：聲音和振動(dòng)。

該系統適用于任何設備，可以實(shí)時(shí)工作，無(wú)需網(wǎng)絡(luò )連接。它已被應用于工業(yè)應用，支持實(shí)現一個(gè)可擴展的高效設備健康監測系統。

本文探討了引導 開(kāi)發(fā)OtoSense 的原則，以及在設計 OtoSense 期間，人類(lèi)聽(tīng)覺(jué)所發(fā)揮的作用。然后，本文討論了聲音或振動(dòng)特性的是如何被設計出來(lái)的、如何從這些特性了解其代表的意義，以及在持續學(xué)習中如何不斷改變和改進(jìn) OtoSense，用于執行愈加復雜的診斷，且結果更為精準。

為了保證耐用、不可知且高效，OtoSense 設計理念秉持幾個(gè)指導原則：

●從人類(lèi)神經(jīng)學(xué)中獲得靈感。人類(lèi)可以以一種非常節能的方式學(xué)習和理解他們聽(tīng)到的任何聲音。
●能夠學(xué)習靜態(tài)聲音和瞬態(tài)聲音。這需要不斷調整功能和持續實(shí)施監測。
●在靠近傳感器的終端進(jìn)行識別。應該無(wú)需通過(guò)網(wǎng)絡(luò )連接遠程服務(wù)器來(lái)做出決策。
●與專(zhuān)家互動(dòng)，向他們學(xué)習，前提是盡可能避免干擾他們的日常工作，且過(guò)程要盡可能愉悅。

聽(tīng)覺(jué)是一種關(guān)乎生存的感覺(jué)。它是對遙遠的、看不見(jiàn)的事件的整體感覺(jué)，在出生前就已成熟。
人類(lèi)感知聲音的過(guò)程可以用四個(gè)熟悉的步驟來(lái)描述：聲音的模擬獲取、數字轉換、特征提取和解讀。在每個(gè)步驟中，我們都會(huì )將人耳與 OtoSense 系統比較。

●模擬獲取和數字化。中耳中的膜和杠桿捕捉聲音，然后調整阻抗，將振動(dòng)傳輸到充液腔道中，在那里，另一層膜會(huì )根據信號中存在的光譜成分選擇性地移位。這反過(guò)來(lái)彎曲了彈性單元，這些單元發(fā)出數字信號，反映出彎曲程度和強度。然后，這些單獨的信號通過(guò)按頻率排列的平行神經(jīng)傳遞到初級聽(tīng)覺(jué)皮層。

˙在 OtoSense 中，這項工作由傳感器、放大器和編解碼器來(lái)完成。數字化過(guò)程使用固定的采樣速率，可在 250 Hz 和 196 kHz 之間調節，波形在 16 位編碼，然后存儲到大小在 128 到 4096 之間的緩沖區。

●特性提取發(fā)生在初級皮層：頻率域特性，如主頻率、諧波和頻譜形狀，以及時(shí)間域特性，如脈沖、強度變化和在大約 3 秒時(shí)間窗內的主要頻率成分。
˙OtoSense 使用一個(gè)時(shí)間窗，我們稱(chēng)之為“塊”，它以固定的步長(cháng)移動(dòng)。這個(gè)塊的大小和步長(cháng)范圍為 23 毫秒到 3 秒，具體由需要識別的事件和在終端提取特性的采樣率決定。在下一節中，我們會(huì )就 OtoSense 提取的特性進(jìn)行更詳細地解釋。

●解析發(fā)生在聯(lián)絡(luò )皮層，它融合了所有的感知和記憶，并賦予聲音以含義（比如通過(guò)語(yǔ)言），在塑造感知期間起著(zhù)核心作用。解析過(guò)程會(huì )組織我們對事件的描述，遠遠不止是對它們進(jìn)行命名這么簡(jiǎn)單。為一個(gè)項目、一個(gè)聲音或一個(gè)事件命名可以讓我們賦予它更大、更多層的含義。對于專(zhuān)家來(lái)說(shuō)，名字和含義能讓他們更好地理解周?chē)�的環(huán)境。
˙這就是為什么 OtoSense 與人的互動(dòng)始于基于人類(lèi)神經(jīng)學(xué)的視覺(jué)、無(wú)監督的聲音映射。OtoSense 利用圖形表示所有聽(tīng)到的聲音或振動(dòng)，它們按相似性排列，但不嘗試創(chuàng )建固定分類(lèi)。這讓專(zhuān)家們能夠組織屏幕上顯示的組，并為它們命名，而無(wú)需嘗試人為創(chuàng )建有界線(xiàn)的類(lèi)別。他們可以根據自身的知識、感知和對 OtoSense 最終輸出的期望構建語(yǔ)義地圖。對于同樣的音景，汽車(chē)機械師、航空工程師，或者冷鍛壓力機專(zhuān)家，甚至是研究相同領(lǐng)域，但來(lái)自不同公司的人員，都可以按不同的方式進(jìn)行劃分、組織和標記。OtoSense 則與塑造語(yǔ)言意義一樣，使用相同的自下而上的方法來(lái)給定意義。

經(jīng)過(guò)一段時(shí)間（如之前所示，時(shí)間窗或塊），我們會(huì )給某個(gè)特征分配一個(gè)單獨的編號，用于描述該時(shí)間內聲音或振動(dòng)的給定屬性/質(zhì)量。OtoSense 平臺選擇特性的原則如下：

●對于頻率域和時(shí)域，特征都應該盡可能完整地描述環(huán)境，提供盡可能多的細節。它們必須描述靜止的嗡嗡聲，以及咔噠聲、嘩啦聲、吱吱聲和任何瞬間變化的聲音。
●特征應盡可能按正交方式構成一個(gè)集合。如果一個(gè)特征被定義為“塊上的平均振幅”，那么就不應該有另一個(gè)特征與之高度相關(guān)，例如“塊上的總光譜能量”。當然，正交性可能永遠無(wú)法實(shí)現，但不應將任何一種表述為其他特征的組合，每種特征都必須包含單一信息。
●特性應該最小化計算量。我們的大腦只知道加法、比較和重置為 0。大多數 OtoSense 特性都被設計成增量，這樣每個(gè)新示例都可以通過(guò)簡(jiǎn)單的操作修改特性，而不需要在完整的緩沖區，或者更為糟糕的，在塊上重新進(jìn)行計算。最小化計算量還意味著(zhù)可以忽略標準物理單元。例如，嘗試用值（以 dBA 為單位）表示強度是沒(méi)有意義的。如果需要輸出 dBA 值，則可以在輸出時(shí)完成（如果必要）。

在 OtoSense 平臺的 2 到 1024 個(gè)特性中，有一部分描述了時(shí)域。它們要么是直接從波形中提取，要么是從塊上任何其他特性的演化中提取。在這些特性中，有些包括平均振幅和最大振幅、由波形線(xiàn)性長(cháng)度得到的復雜度、振幅變化、脈沖的存在與否和其特性、第一個(gè)和最后一個(gè)緩沖區之間相似性的穩定性、卷積的超小型自相關(guān)或主要頻譜峰值的變化。

在頻域上使用的特性提取自 FFT。FFT 在每個(gè)緩沖區上計算，產(chǎn)生從 128 到 2048 個(gè)單獨頻率的輸出。然后，該過(guò)程創(chuàng )建一個(gè)具有所需維數的向量，該向量比 FFT 小得多，但仍能細致地描述環(huán)境。OtoSense 最初使用一種不可知的方法在對數頻譜上創(chuàng )建大小相同的數據桶。然后，根據環(huán)境和要識別的事件，這些數據桶將重點(diǎn)放在信息密度高的頻譜區域，要么是從能夠熵最大化的無(wú)監督視角，要么是從使用標記事件作為指導的半監督視角來(lái)判斷。這模擬了我們的內耳細胞結構，在語(yǔ)言信息密度最大的地方，語(yǔ)音細節更密集。

OtoSense 在終端位置實(shí)施異常檢測和事件識別，無(wú)需使用任何遠程設備。這種結構確保系統不會(huì )受到網(wǎng)絡(luò )故障的影響，且無(wú)需將所有原始數據塊發(fā)送出去進(jìn)行分析。運行 OtoSense 的終端設備是一種自包含系統，可以實(shí)時(shí)描述所鑒聽(tīng)設備的行為。

圖1.OtoSense 系統。

運行 AI 和 HMI 的 OtoSense 服務(wù)器一般托管在本地。云架構可以將多個(gè)有意義的數據流聚合成為 OtoSense 設備的輸出。對于一個(gè)專(zhuān)門(mén)處理大量數據并在一個(gè)站點(diǎn)上與數百臺設備交互的 AI 來(lái)說(shuō)，使用云托管的意義不大。

正常/異常評估無(wú)需與專(zhuān)家進(jìn)行太多交互。專(zhuān)家只需要幫忙確定表示設備聲音和振動(dòng)正常的基線(xiàn)。然后，在推送給設備之前，先將這個(gè)基線(xiàn)在 Otosense 服務(wù)器上轉換為異常模型。

然后，我們使用兩種不同的策略來(lái)評估傳入的聲音或振動(dòng)是否正常：

●第一種策略是我們所說(shuō)的“常態(tài)性”，即檢查任何進(jìn)入特性空間的新聲音的周?chē)�環(huán)境、它與基線(xiàn)點(diǎn)和集群的距離，以及這些集群的大小。距離越大，集群越小，新的聲音就越不尋常，異常值也就越高。當這個(gè)異常值高于專(zhuān)家定義的閾值時(shí)，相應的塊將被標記為不尋常，并發(fā)送到服務(wù)器供專(zhuān)家查看。
●第二種策略非常簡(jiǎn)單：任何特性值高于或低于特性定義的基線(xiàn)的最大值或最小值的傳入塊都被標記為“極端”，并發(fā)送到服務(wù)器。

異常和極端策略的組合很好地涵蓋了異常的聲音或振動(dòng)，這些策略在檢測日漸磨損和殘酷的意外事件方面也表現出色。

特征屬于物理領(lǐng)域，含義屬于人類(lèi)認知。要將特征與含義聯(lián)系起來(lái)，需要 OtoSense AI 和人類(lèi)專(zhuān)家之間展開(kāi)互動(dòng)。我們花了大量時(shí)間研究客戶(hù)的反饋，開(kāi)發(fā)出人機界面 (HMI)，讓工程師能夠高效地與 OtoSense 交互，設計出事件識別模型。這個(gè) HMI 允許探索數據、標記數據、創(chuàng )建異常模型和聲音識別模型，并測試這些模型。

OtoSense Sound Platter（也稱(chēng)為 splatter）允許通過(guò)完整概述數據集來(lái)探索和標記聲音。Splatter 在完整的數據集中選擇最有趣和最具代表性的聲音，并將它們顯示為一個(gè)混合了標記和未標記聲音的 2D 相似性地圖。

圖2.OtoSense Sound Platter 中的 2D splatter 聲音地圖。

任何聲音或振動(dòng)，包括其環(huán)境，都可以通過(guò)許多不同的方式進(jìn)行可視化——例如，使用 Sound Widget（也稱(chēng)為 Swidget）。

圖3.OtoSense sound widget (swidget)。

在任何時(shí)候，都可以創(chuàng )建異常模型或事件識別模型。事件識別模型是一個(gè)圓形的混淆矩陣，它允許 OtoSense 用戶(hù)探索混淆事件。

圖4.可以基于所需的事件創(chuàng )建事件識別模型。

異�？梢酝ㄟ^(guò)一個(gè)顯示所有異常和極端聲音的界面進(jìn)行考察和標記。

圖5.在 OtoSense 異�？梢暬�界面中，聲音分析隨時(shí)間的變化。

OtoSense 的設計初衷是向多位專(zhuān)家學(xué)習，并且隨著(zhù)時(shí)間推移，進(jìn)行越來(lái)越復雜的診斷。常見(jiàn)過(guò)程是 OtoSense 和專(zhuān)家之間的循環(huán)：

●異常模型和事件識別模型都是在終端運行。這些模型為潛在事件發(fā)生的概率以及它們的異常值創(chuàng )建輸出。
●超出定義閾值的異常聲音或振動(dòng)會(huì )觸發(fā)異常通知。使用 OtoSense 的技術(shù)人員和工程師可以檢查該聲音和其前后聲音信息。
●然后，這些專(zhuān)家會(huì )對這個(gè)異常事件進(jìn)行標記。
●對包含這些新信息的新識別模型和異常模型進(jìn)行計算，并推送給終端設備。

ADI 公司提供的 OtoSense 技術(shù)旨在使聲音和振動(dòng)專(zhuān)業(yè)知識在任何設備上都持續可用，且無(wú)需連接網(wǎng)絡(luò )來(lái)執行異常檢測和事件識別。在航空航天、汽車(chē)和工業(yè)監測應用中，該技術(shù)被越來(lái)越多地用于設備健康監測，這表示，在曾經(jīng)需要專(zhuān)業(yè)知識，以及涉及嵌入式應用的場(chǎng)景中，尤其是對于復雜設備而言，該技術(shù)都表現出了不錯的性能。