多媒體技術(shù)好資源-第04講數(shù)字聲音基礎(chǔ)

1、數(shù)字聲音根底第 4 章4.1 根本概念 聲音概念 聲音頻率分布 音質(zhì)與 數(shù)據(jù)量 數(shù)字音頻文件的種類4.2 聲音編碼方法 聲音編碼分類 LPC MP34.3 音頻編輯工具Audition 單音軌方式錄音 音頻編輯與處置 多音軌混合 多音軌錄音4.1根本概念 聲音定義聲音是經(jīng)過空氣傳播的一種延續(xù)的振動波，具有振幅、周期和頻率。聲音用電表示時，聲音信號在時間和幅度上都是延續(xù)的模擬信號，如下圖。教學(xué)進(jìn)程4.1.1聲音的根本特點 聲音的質(zhì)量簡稱音質(zhì)。音質(zhì)與頻率范圍成正比，頻率范圍越寬音質(zhì)越好聲音具有延續(xù)性和過程性，數(shù)據(jù)前后相關(guān)，數(shù)據(jù)量大，具有實時性 聲音的延續(xù)時基性 聲音三要素(1) 音調(diào) (高低)頻率

2、(2) 音強(qiáng) (強(qiáng)弱)音高(3) 音色 (特質(zhì))泛音教學(xué)進(jìn)程 聲音的頻譜分為線性頻譜和延續(xù)頻譜。聲音頻率分布次聲波人耳可聽域超聲波20,000Hz女性語音150Hz 3,000Hz語音200Hz 3,400Hz調(diào)幅廣播(AM)50Hz 7,000Hz調(diào)頻廣播(FM)20Hz 15,000Hz高級音響3Hz 40,000Hz男性語音30Hz 9,000Hz聲源種類頻帶寬度4.1.2教學(xué)進(jìn)程1人耳對不同頻段的聲音的敏感程度不同 如： 對低頻敏感一些，3-5K最敏感。2不同頻率有不同的聽覺閾值。3人的聽覺具有掩蔽效應(yīng) 。和環(huán)境有關(guān)。同樣大小聲音在嘈雜環(huán)境就會聽不清。聽覺特性4.1.24.1.3數(shù)字化

3、聲音教學(xué)進(jìn)程 數(shù)字信號處置器(digital signal processor，DSP) DSP與通用微處置器相比，除了它們的構(gòu)造不同外，其根本差別是，DSP有才干呼應(yīng)和處置采樣模擬信號得到的數(shù)據(jù)流，如做乘法和累加求和運算。在數(shù)字域而不在模擬域中做信號處置的主要優(yōu)點是：首先，數(shù)字信號計算是一種準(zhǔn)確的運算方法，它不受時間和環(huán)境變化的影響；其次，表示部件功能的數(shù)學(xué)運算不是物理上實現(xiàn)的功能部件，而是僅用數(shù)學(xué)運算去模擬，其中的數(shù)學(xué)運算也相對容易實現(xiàn)；此外，可以對數(shù)字運算部件進(jìn)展編程，如欲改動算法或改動某些功能，還可對數(shù)字部件進(jìn)展再編程。4.1.3數(shù)字化聲音模擬信號與數(shù)字信號教學(xué)進(jìn)程話音信號是典型的延續(xù)

4、信號，不僅在時間上是延續(xù)的，而且在幅度上也是延續(xù)的。在時間上“延續(xù)是指在一個指定的時間范圍里聲音信號的幅值有無窮多個，在幅度上“延續(xù)是指幅度的數(shù)值有無窮多個。我們把在時間和幅度上都是延續(xù)的信號稱為模擬信號。在某些特定的時辰對這種模擬信號進(jìn)展丈量叫做采樣(sampling)，由這些特定時辰采樣得到的信號稱為離散時間信號。采樣得到的幅值是無窮多個實數(shù)值中的一個，因此幅度還是延續(xù)的。假設(shè)把信號幅度取值的數(shù)目加以限定，這種由有限個數(shù)值組成的信號就稱為離散幅度信號。例如，假設(shè)輸入電壓的范圍是0.0V0.7V，并假設(shè)它的取值只限定在0、0.1、0.2，0.7共8個值。假設(shè)采樣得到的幅度值是0.123V，它

5、的取值就應(yīng)算作0.1V，假設(shè)采樣得到的幅度值是0.26V，它的取值就算作0.3，這種數(shù)值就稱為離散數(shù)值。我們把時間和幅度都用離散的數(shù)字表示的信號就稱為數(shù)字信號。4.1.3數(shù)字化聲音 聲音采樣 聲音數(shù)字化 (模/數(shù)轉(zhuǎn)換)聲音采樣131130 130131把聲音(模擬量)按照固定時間間隔，轉(zhuǎn)換成有限個數(shù)字表示的離散序列教學(xué)進(jìn)程4.1.3數(shù)字化聲音 聲音量化 聲音數(shù)字化 (模/數(shù)轉(zhuǎn)換)教學(xué)進(jìn)程延續(xù)幅度的離散化經(jīng)過量化(quantization)來實現(xiàn)，就是把信號的強(qiáng)度劃分成一小段一小段，假設(shè)幅度的劃分是等間隔的，就稱為線性量化。4.1.3數(shù)字化聲音教學(xué)進(jìn)程 聲音數(shù)字化需求回答兩個問題每秒鐘需求采集多

6、少個聲音樣本，也就是采樣頻率(fs)是多少，每個聲音樣本的位數(shù)(bit per sample，bps)應(yīng)該是多少，也就是量化精度。4.1.3數(shù)字化聲音教學(xué)進(jìn)程采樣頻率采樣頻率的高低是根據(jù)奈奎斯特實際(Nyquist theory)和聲音信號本身的最高頻率決議的。奈奎斯特實際指出，采樣頻率不應(yīng)低于聲音信號最高頻率的兩倍，這樣就能把以數(shù)字表達(dá)的聲音復(fù)原成原來的聲音，這叫做無損數(shù)字化(lossless digitization)。采樣定律用公式表示為 fs 2f 或者 Ts T/2其中f為被采樣信號的最高頻率。他可以這樣來了解奈奎斯特實際：聲音信號可以看成由許許多多正弦波組成的，一個振幅為A、頻率為

7、f的正弦波至少需求兩個采樣樣本表示，因此，假設(shè)一個信號中的最高頻率為 ,采樣頻率最低要選擇2 。例如，話音的信號頻率約為3.4 kHz，采樣頻率就選為8 kHz。樣本大小是用每個聲音樣本的位數(shù)bit/s(即bps)表示的，它反映度量聲音波形幅度的精度。例如，每個聲音樣本用16位(2字節(jié))表示，測得的聲音樣本值是在065536的范圍里，它的精度就是輸入信號的1/65536。樣本位數(shù)的大小影響到聲音的質(zhì)量，位數(shù)越多，聲音的質(zhì)量越高，而需求的存儲空間也越多；位數(shù)越少，聲音的質(zhì)量越低，需求的存儲空間越少。采樣精度的另一種表示方法是信號噪聲比，簡稱為信噪比(signal-to-noise ratio，S

8、NR)，并用下式計算：SNR 10log (Vsignal)2 / (Vnoise)220 log (Vsignal / Vnoise)其中，Vsignal表示信號電壓，Vnoise表示噪聲電壓；SNR的單位為分貝(db)例1：假設(shè)Vnoise1，采樣精度為1位表示Vsignal21，它的信噪比SNR6分貝。 假設(shè)Vnoise1，采樣精度為16位表示Vsignal216，它的信噪比SNR96分貝。4.1.3數(shù)字化聲音采樣精度4.1.3數(shù)字化聲音 聲音重放 聲音模擬化 (數(shù)/模轉(zhuǎn)換)聲音重放131130把數(shù)字化聲音轉(zhuǎn)換成模擬量，經(jīng)過音響單元重放出來教學(xué)進(jìn)程 重放頻率 (模擬量)與采樣頻率 (數(shù)字

9、量)的關(guān)系重放頻率 采樣頻率 2例 采樣頻率為44,100Hz的數(shù)字音頻信號復(fù)原成聲音后，為22,050Hz教學(xué)進(jìn)程 設(shè)備和軟件(1) 聲音適配器 (聲卡) 8bit、16bit、 128bit(2) 聲卡驅(qū)動軟件以及各種聲音處置軟件4.1.3數(shù)字化聲音采樣頻率 Hz數(shù)據(jù)長度 bit數(shù)據(jù)量分鐘11,02580.66 MB22,05081.32 MB44,10082.64 MB11,025161.32 MB22,050162.64 MB44,100165.29 MB音質(zhì)評價低普通良好中良好優(yōu)秀音質(zhì)與數(shù)據(jù)量4.1.4 數(shù)字音頻的教學(xué)進(jìn)程質(zhì)量采樣頻率(kHz)樣本精度(bit/s)單道聲/立體聲數(shù)據(jù)

10、率(kB/s)(未緊縮)頻率范圍*88單道聲8 2003 400 HzAM11.0258單道聲11.0507 000HzFM22.05016立體聲88.2 CD44.116立體聲176.42020 000 HzDAT4816立體聲192.02020 000 Hz音質(zhì)與數(shù)據(jù)量4.1.4 數(shù)字音頻的2015 000Hz4.1.5.wav WAVE (Waveform Audio)波形音頻文件 多媒體系統(tǒng)、音樂光盤制造，記錄物理波形，數(shù)據(jù)量大.cda CDA (CD Audio)激光音頻文件 準(zhǔn)確記錄聲波，數(shù)據(jù)量大，經(jīng)過采樣，生成wav和mp3音頻文件.mid MIDI (Musical Instr

11、ument Digital Interface)樂器接口文件 用于合成、游戲，記錄音符時值、頻率、音色特征，數(shù)據(jù)量小.mp3 mp3 (MPEG音頻緊縮規(guī)范)緊縮音頻文件 必需經(jīng)過解緊縮，數(shù)據(jù)量小 文件種類及特點數(shù)字音頻文件的種類教學(xué)進(jìn)程文件的擴(kuò)展名闡明auSun和NeXT公司的聲音文件存儲格式(8位m 律編碼或者16位線性編碼)aif(Audio Interchange)Apple計算機(jī)上的聲音文件存儲格式cmf(Creative Music Format)聲霸(SB)卡帶的MIDI文件存儲格式mctMIDI文件存儲格式mff(MIDI Files Format)MIDI文件存儲格式mid(

12、MIDI)Windows的MIDI文件存儲格式mp2MPEG Layer I , IImp3MPEG Layer IIImod(Module)MIDI文件存儲格式rm(RealMedia)RealNetworks公司的流放式聲音文件格式ra(RealAudio)RealNetworks公司的流放式聲音文件格式rolAdlib聲音卡文件存儲格式snd(sound)Apple計算機(jī)上的聲音文件存儲格式seqMIDI文件存儲格式sngMIDI文件存儲格式voc(Creative Voice)聲霸卡存儲的聲音文件存儲格式wav(Waveform)*Windows采用的波形聲音文件存儲格式wrkCake

13、walk Pro軟件采用的MIDI文件存儲格式用.wav為擴(kuò)展名的文件格式稱為波形文件格式(WAVE File Format)，它在多媒體編程接口和數(shù)據(jù)規(guī)范1.0(Multimedia Programming Interface and Data Specifications 1.0)文檔中有詳細(xì)的描畫。該文檔是由IBM和微軟公司于1991年8月結(jié)合開發(fā)的，它是一種為交換多媒體資源而開發(fā)的資源交換文件格式(Resource Interchange File Format，RIFF)。波形文件格式支持存儲各種采樣頻率和樣本精度的聲音數(shù)據(jù)，并支持聲音數(shù)據(jù)的緊縮。 .WAV聲音文件4.1.5數(shù)字音頻

14、文件的種類波形文件有許多不同類型的文件構(gòu)造塊組成，其中最主要的兩個文件構(gòu)造塊是Format Chunk(格式塊)和Sound Data Chunk(聲音數(shù)據(jù)塊)。格式塊包含有描畫波形的重要參數(shù)，例如采樣頻率和樣本精度等，聲音數(shù)據(jù)塊那么包含有實踐的波形聲音數(shù)據(jù)。RIFF中的其他文件塊是可選擇的。它的簡化構(gòu)造如下圖。 .WAV聲音文件4.1.5數(shù)字音頻文件的種類MIDI是Musical Instrument Digital Interface的首寫字母組合詞，可譯成“電子樂器數(shù)字接口。用于在音樂合成器(music synthesizers)、樂器(musical instruments)和計算機(jī)之

15、間交換音樂信息的一種規(guī)范協(xié)議。從20世紀(jì)80年代初期開場，MIDI曾經(jīng)逐漸被音樂家和作曲家廣泛接受和運用。MIDI是樂器和計算機(jī)運用的規(guī)范言語，是一套指令(即命令的商定)，它指示樂器即MIDI設(shè)備要做什么，怎樣做，如演奏音符、加大音量、生成音響效果等。MIDI不是聲音信號，在MIDI電纜上傳送的不是聲音，而是發(fā)給MIDI設(shè)備或其它安裝讓它產(chǎn)生聲音或執(zhí)行某個動作的指令。 MIDI 簡介4.1.6電子樂器數(shù)字接口(MIDI)系統(tǒng)可以同時播放WAVE文件和MIDI文件來一同播放語音和音樂；不能同時播放兩個波形文件，由于播放采樣聲音時要求準(zhǔn)確的同步。MIDI 規(guī)范之所以遭到歡迎，主要是它有以下幾個優(yōu)點

16、：生成的文件比較小，由于MIDI文件存儲的是命令，而不是聲音波形；容易編輯，由于編輯命令比編輯聲音波形要容易得多；可以作背景音樂，由于MIDI音樂可以和其它的媒體，如數(shù)字電視、圖形、動畫、話音等一同播放，這樣可以加強(qiáng)演示效果。 MIDI 文件的優(yōu)點4.1.6電子樂器數(shù)字接口(MIDI)系統(tǒng)產(chǎn)生MIDI樂音的方法很多，如今用得較多的方法有兩種：一種是(frequency modulation，F(xiàn)M)合成法，另一種是樂音樣本合成法，也稱為波形表(Wavetable)合成法。這兩種方法目前主要用來生成音樂。 MIDI 的合成方法4.1.6電子樂器數(shù)字接口(MIDI)系統(tǒng) 頻率調(diào)制FM 合成法4.1.

17、6電子樂器數(shù)字接口(MIDI)系統(tǒng)20世紀(jì)80年代初，美國斯坦福大學(xué)(Stanford University)的一名叫John Chowning的研討生發(fā)明了一種產(chǎn)生樂音的新方法，這種方法稱為數(shù)字式頻率調(diào)制合成法(digital frequency modulation synthesis)，簡稱為FM合成器。他把幾種樂音的波形用數(shù)字來表達(dá)，并且用數(shù)字計算機(jī)而不是用模擬電子器件把它們組合起來，經(jīng)過數(shù)模轉(zhuǎn)換器(digital to analog convertor，DAC)來生成樂音。 頻率調(diào)制FM 合成法的原理4.1.6電子樂器數(shù)字接口(MIDI)系統(tǒng)它由5個根本模塊組成：數(shù)字載波器、調(diào)制器、

18、聲音包絡(luò)發(fā)生器、數(shù)字運算器和模數(shù)轉(zhuǎn)換器。聲音包絡(luò)發(fā)生器用來調(diào)制聲音的電平，這個過程也稱為幅度調(diào)制(amplitude modulation)，并且作為數(shù)字式音量控制旋鈕，它的4個參數(shù)寫成ADSR，這條包絡(luò)線也稱為音量升降維持靜音包絡(luò)線(Attack，decay，sustain，release，ADSR)包絡(luò)線。 頻率調(diào)制FM 合成法的原理4.1.6電子樂器數(shù)字接口(MIDI)系統(tǒng)在樂音合成器中，數(shù)字載波波形和調(diào)制波形有很多種，不同型號的FM合成器所選用的波形也不同。以下圖是Yamaha OPL-III數(shù)字式FM合成器采用的波形。各種不同樂音的產(chǎn)生是經(jīng)過組合各種波形和各種波形參數(shù)并采用各種不同的

19、方法實現(xiàn)的。用什么樣的波形作為數(shù)字載波波形、用什么樣的波形作為調(diào)制波形、用什么樣的波形參數(shù)去組合才干產(chǎn)生所希望的樂音，這就是FM合成器的算法。 樂音樣本合成聲音的原理4.1.6電子樂器數(shù)字接口(MIDI)系統(tǒng)這種方法就是把真實樂器發(fā)出的聲音以數(shù)字的方式記錄下來，播放時改動播放速度，從而改動音調(diào)周期，生成各種音階的音符。樂音樣本的采集相對比較直觀。音樂家在真實樂器上演奏不同的音符，選擇44.1 kHz的采樣頻率、16位的樂音樣本，這相當(dāng)于CD-DA的質(zhì)量，把不同音符的真實聲音記錄下來，這就完成了樂音樣本的采集。樂音樣本通常放在ROM芯片上。樂音樣本合成器所需求的輸入控制參數(shù)比較少，可控的數(shù)字音效

20、也不多，大多數(shù)采用這種合成方法的聲音設(shè)備都可以控制聲音包絡(luò)的ADSR參數(shù)，產(chǎn)生的聲音質(zhì)量比FM合成方法產(chǎn)生的聲音質(zhì)量要高。合成器或者聲音發(fā)生器的多音調(diào)(polyphony)是一次演奏多個音符(note)的才干。大多數(shù)早期的音樂合成器是單音調(diào)的，即一次僅演奏一個音符。假設(shè)在裝配有單音調(diào)合成器(monophonic synthesizer)的鍵盤上同時按下5個鍵，只能聽到一個音符的聲音；假設(shè)在裝配有能支持4個音調(diào)的合成器的鍵盤上同時按下5個鍵，可產(chǎn)生4個音符的聲音。許多現(xiàn)代的聲音模塊有16，24或者32個音符的復(fù)調(diào)音。假設(shè)一個合成器或者聲音發(fā)生器可以同時產(chǎn)生2個或者2個以上的不同樂音，就說這個合成

21、器或者聲音發(fā)生器是多音色(multi-timbral)的。例如，假設(shè)一個合成器可以同時演奏5個音調(diào)(notes)，就說它是多音調(diào)的(polyphonic)；假設(shè)一個合成器也可以同時產(chǎn)生鋼琴聲(piano sound)和低音(bass sound)，就說它是一個多音色(multi-timbral)合成器。 合成器的多音調(diào)和多音色4.1.6電子樂器數(shù)字接口(MIDI)系統(tǒng) 一個簡單的 MIDI 系統(tǒng)4.1.6電子樂器數(shù)字接口(MIDI)系統(tǒng)上圖表示的是一個簡單的MIDI系統(tǒng)，它由一個MIDI鍵盤控制器和一個MIDI聲音模塊組成。許多MIDI鍵盤樂器在其內(nèi)部既包含鍵盤控制器，又包含MIDI聲音模塊功

22、能。在這些單元中，鍵盤控制器和聲音模塊之間曾經(jīng)有內(nèi)部鏈接，這個鏈接可以經(jīng)過該設(shè)備中的控制功能(local control)對鏈接翻開(ON)或者封鎖(OFF)。4.2.14.2 聲音編碼方法聲音編碼分類1波形編碼基于音頻數(shù)據(jù)的統(tǒng)計特性 目的是使重建語音波形堅持原波形的外形。如脈沖編碼 調(diào)制等2參數(shù)編碼基于音頻的聲學(xué)參數(shù) 目的是使重建音頻堅持原音頻的特性。常用的音頻參數(shù)有共振峰、線性預(yù)測系數(shù)、濾波器組等。3混合 編碼教學(xué)進(jìn)程LPC是經(jīng)過分析話音波形來產(chǎn)生聲道鼓勵和轉(zhuǎn)移函數(shù)的參數(shù)，對聲音波形的編碼實踐就轉(zhuǎn)化為對這些參數(shù)的編碼，這就使聲音的數(shù)據(jù)量大大減少。在接納端運用LPC分析得到的參數(shù)，經(jīng)過話音合

23、成器重構(gòu)話音。合成器實踐上是一個離散的隨時間變化的時變線性濾波器，它代表人的話音生成系統(tǒng)模型。時變線性濾波器既當(dāng)作預(yù)測器運用，又當(dāng)作合成器運用。 4.2 聲音編碼方法4.2.2線性預(yù)測編碼 (LPC)4.2.2線性預(yù)測編碼 (LPC)=線性預(yù)測器是運用過去的P個樣本值來預(yù)測現(xiàn)時辰的采樣值x(n)，預(yù)測值可以用過去P個樣本值的線性組合來表示： 殘差誤差(residual error)即線性預(yù)測誤差為 =4.2 聲音編碼方法在給定的時間范圍里，如 ，使 的平方和即 為最小 經(jīng)過求解偏微分方程，可找到系數(shù)ai 的值。假設(shè)把發(fā)音器官等效成濾波器，這些系數(shù)值就可以了解成濾波器的系數(shù)。這些參數(shù)不再是聲音波

24、形本身的值，而是發(fā)音器官的鼓勵參數(shù)。 4.2 聲音編碼方法4.2.2線性預(yù)測編碼 (LPC)4.2.3GSM編譯碼器GSM是Global System for Mobile communications的縮寫，可譯成全球數(shù)字挪動通訊系統(tǒng)。GSM算法是1992年柏林技術(shù)大學(xué)(Technical University Of Berlin)根據(jù)GSM協(xié)議開發(fā)的，這個協(xié)議是歐洲最流行的數(shù)字蜂窩通訊協(xié)議。GSM的輸入是幀(frame)數(shù)據(jù)，一幀(20毫秒)由采樣頻率為8 kHz的帶符號的160個樣本組成，每個樣本為13位或者16位的線性PCM(linear PCM)碼。GSM編碼器可把一幀(16016位

25、)的數(shù)據(jù)緊縮成260位的GSM幀，緊縮后的數(shù)據(jù)率為1625字節(jié)，相當(dāng)于13 kb/s。由于260位不是8位的整數(shù)倍，因此編碼器輸出的GSM幀為264位的線性PCM碼。采樣頻率為8 kHz、每個樣本為16位的未緊縮的話音數(shù)據(jù)率為128 kb/s，運用GSM緊縮后的數(shù)據(jù)率為：(264位8000樣本/秒)/160樣本=13.2 千位/秒GSM的緊縮比：128:13.2 = 9.7，近似于10:1。4.2 聲音編碼方法4.3 聲音處置軟件Audition4.3.1單音軌方式錄音編輯界面；多軌界面。主要不同？主要步驟：1.文件-新建-選擇屬性采樣率、聲道、量化位數(shù)2.選項-錄音控制臺-選擇錄音源3.點擊播放面板的錄音按鈕錄制，完成后點擊停頓。4.文件-保管，選擇類型Windows PCM、Mp3 Pro4.3