运用语音情绪辨识於互动玩具设计之开发研究.docx

《运用语音情绪辨识於互动玩具设计之开发研究.docx》由会员分享，可在线阅读，更多相关《运用语音情绪辨识於互动玩具设计之开发研究.docx（8页珍藏版）》请在三一办公上搜索。

1、運用語音情緒辨識於互動玩具設計之開發研究*張華城 *許濬聖*多媒體與電腦娛科學系研究所專任助理教授兼系主任、所長*多媒體與電腦娛科學系研究所研究生摘要 本研究從文獻上所蒐集的資料，去做分析探討情緒、玩具與互動設計三種定義，普通心理學認為：情緒是指伴隨著認知和意識過程產生的對外界事物的態度，是對客觀事物和主體需求之間關係的反應。是以個體的願望和需要為醫學教育網蒐集整理中介的一種心理活動。情緒包含情緒體驗、情緒行為、情緒喚醒和對刺激物的認知等複雜成分。；而玩具經由文獻分析後本研究定義為可被任何年齡層所遊玩且溝通，並且也可以輔助心靈以及能夠娛樂的一種功效之工具。；張白苓(2007)指出，位媒體互動設

2、計最大的特色及表現形式之一，就是將某種程的操控權移轉給觀賞者。了解了情緒、玩具與互動設計的定義皆是針對使用者，因此本研究將此三種功能整合在玩具上進而形成可以語音情緒辨識的互動玩具設計。本研究藉由情感設計相關理原則，製作一隻附有互動功能的玩具，再利用Max/MSP軟體來辨識使用者所表達的語音情緒，運用玩具與軟體上的搭配來開發出一隻有情感互動設計的模組，提高面對於人類互動時之反應的合理與真實性，並引發使用者情緒感知，進而可以得到療癒心靈的作用。關鍵詞： 情緒、語音辨識、情緒辨識、玩具、互動設計壹、前言1-1研究背景情緒研究近十逐漸受到重視，情緒心學已成為心學門獨的一支，除此之外，眾多域，如社會學、

3、消費者及銷學、電腦科學、設計等域也相繼投入相關議題的研究，並致於將相關情緒研究推向實務面運用。在2009年，一位來自於堪薩斯大學（KU）的研究者進行一項新研究，探討情緒與健康的關連。這項研究證明，人類情緒與身體健康是有影響的，因此近年來很多研究者開始探討一些有關情緒的研究，譬如，探討辨人情緒加強機器與人的溝通能(Picard,1997)、產品與精油氣體結合來紓緩使用者情緒的功用(陳育民, 2007)等研究，均期望透過對情緒探，解情緒佔有的份量，證明研究者提出的問題。這些研究都指出情緒在人們的決策為及生活經驗上扮演相當重要的角色。 近互動設計的興起，產品結合資訊科技而生的互動產品，改變產品與使用

4、者之間單一向的遊戲娛樂，將玩具的互動功能漸漸的加入人的情感，這樣所帶的互動特性，產生人與物的互動，也開啟人與物對話的生活，根據使用者輸入訊號的差，可輸出同感覺的回饋，為產品帶多樣性；而加入運算的功能，可帶有為使用者身定做服務的能。1-2研究目的 越越多研究顯示產品對於人們在生活經驗上具有極大的潛，而且在人們的心感受中得到多的關注，提高人的生活品質。因此，如何結合語音情緒辨識特性與互動玩具搭配，設計出可以使人心情愉悅的產品，成為值得探討研究的一項課題。本研究藉由製作可以依據使用者的語音並分析情緒來做出不同感覺的玩具，來達到輔助療癒心靈以及有娛樂功能的效果。貳、文獻探討2-1情緒普通心理學認為：情

5、緒是指伴隨著認知和意識過程產生的對外界事物的態度，是對客觀事物和主體需求之間關係的反應。是以個體的願望和需要為醫|學教育網蒐集整理中介的一種心理活動。情緒包含情緒體驗、情緒行為、情緒喚醒和對刺激物的認知等複雜成分。情緒，是人表現的各種感覺、思想和行為的一種綜合的心理和生理狀態，是個人受到某種刺激所產生的一種心理變化與行為反應，如：喜、怒、憂、思、悲、恐、驚等七種表現出來，且不易為個人所控制的，在身體動作上表現的越強就說明情緒越強，如喜是手舞足蹈、怒是咬牙切齒、憂是茶飯不思、悲是痛心疾首等等就是情緒在身體動作上的反應。情緒是一種個人的主觀體驗和感受，常跟心情、氣質、性格和性情有關。而人類的情緒表

6、達方式是多種多樣的，一種是通過言語、文字等各種表達方式顯示心理感受並藉以達到和外界溝通的目的，例如一個眼神、一聲嘆息都能傳達出來，另外一種為非語文的情緒表達，有因情感的親疏遠近而表現出人際距離長短的變化以及因不同文化有不同的表達方式及意識用動作、姿勢及位置，在互動的情境中顯示其意義。2-2 玩具的定義依據玩具國家標準CNS 4797之定義：凡設計、製造、銷售、陳列或標示供14歲以下兒童玩耍遊戲之產品稱之為玩具，在教育部提供的線上字典所定義的玩具為可供遊戲玩弄的東西。玩具通常是通小孩或成人所遊戲的一種打開智慧天窗的工具。黃志成（1996）提出玩具的分，就發展功能探討，玩具可以分成以下幾種：1.

7、感官訓玩具：如顏色球、音、黏土等。2. 大小肌肉和粗動作、細動作的玩具：如大小積木、球池、三、拼圖、畫圖、剪貼和珠等。3. 協調性訓玩具：如珠、畫圖、積木（手眼協調）和三（手、眼、腳協調）等。4. 社會性玩具：如娃娃木偶等5. 操作性玩具：剪貼、拼圖、沙、黏土和積木等。6. 情緒鬆弛玩具：娃娃、繪畫、水、木工和積木等。7. 想像創造性玩具：如剪貼、娃娃、繪畫和積木等。8. 智性玩具：如積木、下棋、拼圖等。胡瑞原2004對玩具做一個簡單的定義，大致分為9種：1. 好玩的東西2. 培養技能的工具3. 發揮創造力的工具4. 鍛鍊體能的工具5. 安慰人的工具6. 發洩情緒的工具7. 溝通感情的工具8.

8、 學習的工具9. 激發成長動力的工具因而本研究對玩具定義為可被任何年齡層所遊玩且溝通，並且也可以輔助心靈以及能夠娛樂的一種功效之工具。根據此定義，玩具在遊戲玩樂過程中，是沒有任何年齡層和身心發展的限制要求。2-3互動設計互動設計（Interaction Design）是指設計出互動產品提供人在日常生活或工作中使用 (Preece, Rogers, &Sharp, 2002)，在近英國皇家藝術學院（Royal Art of College， RCA）的互動設計（Design Interaction）研究所，提出一系的作品，暗示著未來傳媒的前衛性，在歐洲引起小的話題，因為互動僅涉及一些新技術的表達

9、和通訊的可能性，還帶有找出一種技術與情感之間的相互作用，為設計提供一個有創造性與可能性的新機。家(2005)認為凡是可以讓一種裝置與與者產生互動的效果，其使用的方法、技術或科技，就可以稱之為互動技術。互動技術的使用，在於科技是否是最先進的，而是整合的方式。張白苓(2007)指出，位媒體互動設計最大的特色及表現形式之一，就是將某種程的操控權移轉給觀賞者。創作者再是唯一作者，因為觀賞者已經從被動轉為主動，成為共同創作者。2-4聲音偵測目前市面上已有許多能處音訊的軟體，如：C+、Java、MATLAB、Processing、Max/MSP、Goldwave、Protools、Flash 等，利用程式

10、語言來撰寫的軟體能分析處較複雜的音訊資且其延伸性較強，並能夠接較多樣而具一般性軟、硬體裝置，過需要花費較多的時間撰寫解決較高的技術門檻；而應用開發軟體在操作上則較簡單快速，過功能方面相對的就比較受限，且延伸性較低，與其它周邊作結。本研究基於方性與延伸性之綜合考，決定選用Max/MSP軟體做聲音分析的平台，它屬於視覺化環境的互動開發軟體，使用者只需要編排圖形物件即可，需要學習太過艱深複雜的程式語言，軟體就會自動處一些較為底層的功能，也能藉由新增物件或安裝外掛的方式接其他周邊設備作為溝通橋。2-5 Arduino 控制板 在本系統中為讓電腦同時能夠結步進馬達，再運用一塊名為Arduino 的控制板

11、當作硬體與軟體溝通的橋，如圖1所示，它是一塊以簡單的I/O board 及Processing/Wiring 語言的原始碼為基礎而設計出的控制板，其開發環境與程式語法似C和Java的撰寫方式，可以透過使用Arduino 控制板與Flash、Virtools、Max/MSP 或Visual C+等軟體作結，並搭配上一些電子件如：按鈕、感應器、LED、步進馬達或其他周邊裝置作出互動作品，而它除有線的USB 介面版本外，也有無線傳輸的版本如：芽與XBee 介面的控制板。 圖 1. 有線Arduino - USB 介面 圖 2. 無線Arduino - 芽介面 圖 3. 無線Arduino - XBe

12、e 介面參、研究方法本研究藉由Max/MSP偵測聲音的大小與頻率來辨別出三種情緒，辨別這三種情緒是經由多次的聲音測試後找出三種情緒的音量與頻率的界限值，來作為分辨一般、高興與憤怒的區別，一般情緒的聲音跟頻率的界限值是20到50與30到40、高興情緒的聲音跟頻率的界限值是50到80與40到50、生氣情緒的聲音跟頻率的界限值是80到100與50到60以上，圖4為本研究系統的執行流程圖，當使用者對著麥克風說話的時候便開始偵測音量與頻率，本系統是以5秒判斷為基準，再從這5秒鐘接受到的聲音大小與頻率高低再加以平均，平均後的數值和設定的界限值做判斷，區分出來後的情緒進而反應在玩具狗上（圖5），玩具狗跟使用

13、者對應的情緒分別是平常走路對應一般情緒、高興叫對應高興情緒、哀嚎對應憤怒情緒（圖5）。圖4.系統流程圖 圖5.實驗用-玩具狗3.1 輸入裝置-麥克風為將麥克風裝置所偵測到的聲音輸入至Max/MSP 軟體中，首先我們用adc物件作接收(如圖6 所示)，其功能為將聲音的比訊號轉換為位訊號。在adc物件上方增加一個Toggle開關物件，當Max/MSP 執程式時，可點選它決定聲音接收的開或關。而在adc物件的下方條虛線代表將音源送出，分別接到peakamp和fiddle，peakamp用決定聲音的大小，而fiddle用決定聲音的頻，這個物件的用法將敘述於以下個小節。圖6. Toggle 物件、adc

14、物件及聲音判斷物件3.1.1 聲音大小 (振幅) 偵測如圖 6 所示，”peakamp”物件偵測音，它能夠從麥克風輸入的聲音訊號中擷取出振幅的值，聲音越大則振幅也就越大，而物件後面的字代表每擷取一次音的間隔時間 (以毫秒為單位)，本研究設定為100 代表每0.1 秒送出一個音訊號，指每一秒可送出10個振幅訊號，從peakamp物件下方接點所送出值的有效位最多為小點後面2位，較方計算，所以本研究透過一些四則運算調整值，像是乘上127.99，可將值範圍限制在0127 間作變化，最後在 * 127.99 物件下方的物件是用顯示所送出的值大小 (此為聲音振幅的大小)，以方我們觀察聲音振幅的大小的變化。

15、3.1.2 聲音高低 (頻) 偵測如圖 6 所示，fiddle物件偵測麥克風輸入聲音的頻率高低變化，fiddle物件後面的字（2048）代表記憶體暫存容大小，而下方接點所送出的值代表的就是聲音的頻率值，過需要注意的是此音頻值為非續性訊號，也就代表當沒有聲音輸入時，音頻值將會維持在之前所留下的頻率數值，會自動歸。肆使用裝置本作品之軟硬體需求如下：硬體需求：Arduino 控制板、步進馬達、玩具狗軟體環境：Microsoft Windows開發工具：Max/MSP伍、結果與討論本研究將情緒、玩具以及互動設計整合在同一個模組上，所以本研究把傳統的玩具基本設計上加入了語音情緒辨識裝置的附加功能，在電腦

16、軟體上經由插入電腦的麥克風，並透過感應器間的鏈結實現一隻懂得使用者情緒的玩具狗，讓使用者的感受到有別於以往的互動體驗與回饋，除了玩具之外，語音情緒辨識系統的技術可以進而應用到日常生活用品上，可以讓每個使用者隨時都可以吐露心聲且紓緩心情。參考文獻中文部分1方裕民(2003)，人與物的對話，田園城市。2金芝寧(2009)，導入情感設計的互動式人工生命，元智大學，碩士論文。3胡瑞原(2004)，製造科技課程玩具的設計與製造，生活科技教育月刊。4陳育民、彭剛毅(2007 )，Emotion Spectacle 結合情意運算於眼鏡設計之互動 設計研究，亞東學報第27期P.125132。5程薇(2003)

17、，教育心理學，志光教育文化出版社。6黃煒雄(2009)，多媒體情境水池，南台科技大學。7黃志成(1996)，幼兒玩具的選擇，育兒生活，第76 期，頁149-150。8張白苓(2007)。淺談位藝術創作之互動設計概。美育雙月刊，157。9鄧怡莘、張華憫(2004)，情緒在人機互動之發展與挑戰，國交通大學應用藝 術研究所。英文部分1Preece, J., Rogers, Y., and Sharp, H. (2002). Interaction design: Beyond human-computer interaction, Hoboken,NJ: John Wiley & sons.中文網站

18、部分1M之道 http:/maxmsp.recorderz.org/?page_id=22家(2005)。互動技術概。台灣數位藝術知識與創作流通平台 http:/www.digiarts.org.tw/ShowColumnTW.aspx?lang=zh-tw&CC_NO=1093教育部國語線上字典 http:/dict.revised.moe.edu.tw/4情緒的心理學定義 5經濟部標準檢驗局 http:/www.bsmi.gov.tw/wSite/ct?xItem=17393&ctNode=2975&mp=4英文網站部分1Arduino HomePage http:/www.arduino.cc/2MAX-MSP Externals http:/crca.ucsd.edu/tapel/software.html3Research finds human emotions hold sway over physical health worldwide