數(shù)字媒體及應用

1、一、數(shù)的進制十進制二進制十進制二進制00000601101000170111200108100030011910014010010101050101111011二進制二進制八進制八進制十進制十進制十六進制十六進制(1101.1)2=1 23+1 22+021+1 20+1 2-1例2:將八進制數(shù)34. 6轉換成十進制數(shù)。 (34.6)8=3 81+480+6 8-1=（28.75)10例3:將十六進制數(shù)2AB. 6轉換成十數(shù) (2AB.6)16=2 162+10 161+11 160 +6 16-1 =（683.375)10 2 |1 1所以,(86)10=(1010110)20 二、 數(shù)值信

2、息的表示二、 數(shù)值信息的表示二、 數(shù)值信息的表示二、 數(shù)值信息的表示 尾 數(shù) f ( ) 符號位 s 8 位 23 位 偏移階碼 e b1b2b3b23 二、 數(shù)值信息的表示文本展現(xiàn)（閱讀器）文本處理（文本處理軟件）文本生成其他媒體電子文本文本編輯（編輯器）格式化的電子文本網(wǎng)絡傳輸 計算機對文本的處理 字符的編碼字符的編碼標準標準ASCII 字符集的特點：字符集的特點： 數(shù)字、字母連續(xù)存放 Asc( “A”) + 32 = Asc(“a”) 有 96 個可打印(顯示)字符，32 個控制字符， 共有 128 個字符 字 母 、 數(shù) 字 和 各 種 符 號 字 母 、 數(shù) 字 和 各 種 符 號

3、字 母 、 數(shù) 字 和 各 種 符 號 字 母 、 數(shù) 字 和 各 種 符 號 字 母 、 數(shù) 字 和 各 種 符 號 一 級 漢 字 一 級 漢 字 一 級 漢 字 一 級 漢 字 （ 3755個 ） 個 ） （ 3755個 ） 二 級 漢 字 二 級 漢 字 （ 3008個 ） 個 ） （ 擴 充 使 用 ） 位 號 位 碼 位 號 位 碼 位 號 區(qū)號 區(qū)碼 區(qū)號 區(qū)碼 16 16 16 55 55 56 56 94 87 94 94 94 94 首 字 節(jié) 尾 字 節(jié) 7E A1 FE 81 FE A1 GB2312漢 字 代 碼 空 間 (6763個 漢 字 ) GB2312圖 形

4、符 號 B0 F7 00 00 在雙字節(jié)代碼空間中 GB2312 首字節(jié) 尾字節(jié) 0 x7E 0 xA1 0 xFE 0 x81 0 xFE GB2312漢字 GB2312 圖形符號 0 xB0 0 xA0 0 xAA GBK/2 GBK/2 GBK/1 GBK/1 GBK/5 GBK/5 0 xF7 0 x40 GBK/4 GBK/4 GBK/3 GBK/3 圖形符號CJK漢字增補漢字總計 23940 個碼位，共收入 21003 個漢字和883圖形符號雙字節(jié)編碼，第1字節(jié)的最高位必為“1”，第2字節(jié)的最高位不一定是“1”；簡體和繁體漢字在同一個字符集中；包含了中、日、韓認同的全部CJK漢字；

5、與GB2312-80保持向下兼容；表2.1 GB18030-2000碼位范圍的分配 字節(jié)數(shù) 碼位空間 碼位數(shù) 單字節(jié) 0 x000 x80 129 第1字節(jié) 第2字節(jié) 雙字節(jié) 0 x81 - 0 xFE 0 x40 - 0 x7E , 0 x80 - 0 xFE 23 940 第1字節(jié) 第2字節(jié) 第3字節(jié) 第4字節(jié) 四字節(jié) 0 x81 - 0 xFE 0 x30 - 0 x39 0 x81 - 0 xFE 0 x30 - 0 x39 1 587 600 采用單字節(jié)、雙字節(jié)和四字節(jié)三種方式對字符編碼。單字節(jié)部分使用0 x00至0 x80碼位。雙字節(jié)部分采用兩個八位二進制位串表示一個字符，其首字節(jié)

6、碼位從0 x81至0 xFE，尾字節(jié)碼位分別是0 x40至0 x7E和0 x80至0 xFE。四字節(jié)部分采用GB 11383未采用的0 x30到0 x39作為對雙字節(jié)編碼擴充的后綴，這樣擴充的四字節(jié)編碼，其范圍為0 x81308130到0 xFE39FE39。第一字節(jié)第二字節(jié)第一字節(jié)第三、四字節(jié)00 FF00FF27484漢字GB2312-80GB18030-2000GBKCJK漢字字匯兼 容兼容UCS/UnicodeISO 646ISO 2022兼 容兼容映射00 FF00FF20902漢字00 FF00FF6763漢字 自 動 識 別 輸 入 自 動 文 字 識 別 印 刷 體 識 別 手

7、 寫 體 識 別 文 本 信 息 的 輸 入 人 工 輸 入 自 動 文 字 識 別 鍵 盤 輸 入 聯(lián) 機 手 寫 輸 入 語 音 輸 入 l原理：原理：用專用筆在專用書寫板上書寫漢字 (或符號)計算機實時自動識別 用該漢字 (或符號) 對應的代碼進行保存l例：例：“漢王”手寫筆 正識率達到 90% 以上，識別速度超過12字/秒 分類：分類：1) 孤立語音/連續(xù)語音識別2) 小詞匯量/大詞匯量語音識別3) 特定人/非特定人語音識別l 現(xiàn)狀：現(xiàn)狀：特定人連續(xù)語音識別率已達到 90% 以上l 目標：目標：非特定人大詞匯量的連續(xù)語音識別掃描后的圖像文本預處理 版面分析文字切分 特征提取 文字識別

8、后處理識別后的編碼文本圖：印刷體文字識別的過程圖：印刷體文字識別的過程l 原理：原理：先用普通的筆在普通的紙上寫漢字，再用掃描儀掃入計算機進行識別l 特征：特征：二維的漢字點陣圖像l 現(xiàn)狀：現(xiàn)狀：難度較大，目前還在實驗階段l 目標：目標：非特定人脫機手寫印刷體漢字的實用化翻譯(Translation)文摘生成Summarizing釋義(Paraphrase)摘要、關鍵字相同含義但不同的表達相同含義但不同的語種多文檔自動綜述Question-Answering自動分類提問回答綜述文檔分類文本過濾/文本檢索文檔文本的類型文本的類型l超文本采用一種網(wǎng)狀結構網(wǎng)狀結構來組織信息l一個超文本由若干個文本塊

9、組成，這些文本塊稱為節(jié)點節(jié)點l節(jié)點可以是文字、圖形、圖像、聲音或視頻l基于多媒體信息結點的超文本，也稱為超媒體超媒體。l例：Windows中的 “幫助” 文件就是一種典型的超文本ABCDEFGH a1 a2 b2 c2 f1d1c1 b1 e1 g1h1a3 圖象的獲取設備：掃描儀，數(shù)碼相機取 樣模擬圖像量 化量 化量 化數(shù)字圖像分 色（1）取樣取樣 : 將圖像分成 M * N 個點進行取樣（2）分色分色 : 將每個點分成 R、G、B 三個基色。（3）量化量化 : 對每個分量進行 A / D 轉換，再用數(shù)字量表示l 功能：將現(xiàn)實的景物輸入到計算機內l 種類：2D 掃描儀、數(shù)碼相機、3D 掃描儀

10、等Black and white imageGray scale image藍色分量綠色分量紅色分量名名稱稱 壓壓縮縮編編碼碼方方法法 性性質質 典典型型應應用用 開開發(fā)發(fā)組組織織/公公司司 BMP RLC 無損 Windows應用程序 Microsoft TIF RLC,LZW 無損 desktop publishing Aldus，Microsoft GIF LZW 無損 Internet CompuServe JPEG DCT，Huffman 無損/有損 Internet,數(shù)碼相機等 ISO/IEC JP2 小波變換，算術編碼 無損/有損 Internet,數(shù)碼相機等 ISO/IEC G

11、IF 圖象中的某個色彩，在瀏覽器顯示該圖像時被忽略而不被顯示出來。 效果是使圖像浮現(xiàn)在頁面上，增強了網(wǎng)頁的外觀。例將數(shù)張圖片存成一個文件，從而形成動畫效果 1 打開第1張圖片；2 插入其他的圖片; 3調整每張圖片顯示的時間； 4設定重復次數(shù); 5 放入網(wǎng)頁 例例 建模/造型 (Modeling) 景物形狀的 模型(model) 景物形狀的視圖 繪 制 (Rendering) (Image Synthesis) 線框模型實體模型表面模型幾何造型技術過程模型技術分形幾何形狀語法微粒系統(tǒng)基于物理的建模取景變換視域裁剪三角化光柵化隱藏面消除明暗處理陰影生成紋理映射景物的模型景物的圖像Rendering

12、 Pipeline 接 口 3 繪 圖 儀 現(xiàn) 有 終 端 接 口 1 接 口 2 未 來 終 端 應 用 程 序 圖 形 軟 件 包 元 文 件 讀 寫 程 序 驅 動 程 序 驅 動 程 序 圖 形 元 文 件 2. 量化（quantization，AD conversion )3. 編碼（encoding）模擬聲音信號量 化數(shù)字聲音01100011001編 碼取 樣1. 取樣（sampling）麥克風（microphone）聲音卡（sound card）聲波轉換為電信號取樣、量化、壓縮、編碼、模擬聲音數(shù)字聲音n脫機獲取設備：數(shù)碼錄音筆DSPDMA接口PC總線取樣，量化D/A重建濾波聲音輸

13、出聲音輸入MIDI合成器mixerMIDI接口極低低中碼率碼率(kb/s)1 2 4 8 16 32 64優(yōu) 良 中 差 壞語音質量語音質量模型編碼（源編碼）混合編碼波形編碼 時/頻變換 心理聲學分析 量化與編碼 比特分配 熵編碼 原始波形聲音樣本 壓縮后的波形聲音樣本 掩蔽閾值 頻域數(shù)據(jù) 名稱 壓縮后的碼率（每個聲道） 聲道數(shù)目 主要應用 MPEG-1 層 1 384 kbps （壓縮 4 倍） 2 數(shù)字盒式錄音帶 MPEG-1 層 2 256192 kbps（壓縮 68 倍） 2 DAB,VCD,DVD MPEG-1 層 3 128112 kbps（壓縮 1012 倍） 2 Interne

14、t，MP3 音樂 MPEG-2 audio 與 MPEG-1 層 1，層 2，層 3 相同 5.1, 7.1 同 MPEG-1 Dolby AC-3 64 kbp 5.1, 7.1 DVD, DTV，家庭影院 a streaming media link is clicked the proper player or plug-in Web服務器流媒體專用服務器 Web browserStreaming media files HTML files http(TCP)rtsp:/ HTML文檔Real Time Streaming Protocols negotiates with the s

15、treaming serversends a steady and continuous data streamthe proper player or plug-in Web服務器Web browser流媒體專用服務器 Streaming media files HTML files （客戶端）http/TCP啟動A/VHelper程序參數(shù)：編碼類型，服務器地址等RTSP/TCPRTP/UDP控制播放、暫停、快進、快倒及錄制等命令將A/V數(shù)據(jù)傳輸給A/V客戶程序RTCP/UDP 通信/廣播方式的應用 電話，移動電話 IP電話 DAB 合成聲音的應用 自動應答系統(tǒng) 虛擬播音員 Story on

16、 demand文本分析與理解文本Prosody controlSpeech generation合成語音一串語音基元語音基元庫Text-to-phoneme conversion發(fā)音標注發(fā)音規(guī)則庫Prosody generation韻律控制參數(shù)韻律規(guī)則庫n查找拼寫錯誤，對不規(guī)范或無法發(fā)音的字符進行過濾。n分析文本中詞或短語的邊界，n分析文本中的數(shù)字、姓氏、特殊字符、專有詞語等有關詞語讀音的性質。n根據(jù)文本的結構、組成和標點符號，確定發(fā)音時語氣的變換以及不同音的輕重方式。n分析并決定各個音節(jié)的聲調、語氣和停頓方式，發(fā)音的輕重、長短等 樂譜輸入 音序器軟件 MIDI 合成器 MIDI音樂 MIDI

17、文件 實時演奏 媒體 播放器 MIDI鍵盤 MIDI 消息 MIDI 消息 12345678910111213141516 3.5 數(shù)字視頻及應用視頻信號數(shù)字化過程:(8-10 bits)prefiltersamplingQPCM編碼數(shù)字視頻信息模擬視頻信號VUYUVY亮度信號的取樣頻率:13.5MHzU,V色度信號的取樣方式有多種不同格式720 pel (有效取樣樣本)12/16 pel 132/122 pel水平掃描線(64us)藍色為NTSC藍色為NTSC 格式 取樣頻率 平均每個像素的樣本數(shù) 4:4:4 同亮度信號取樣頻率 3樣本/像素 4:2:2 亮度信號取樣頻率的一半 2樣本/像素

18、 4:1:1 亮度信號取樣頻率的1/4 1.5樣本/像素 4:2:0 亮度信號取樣頻率的一半, 1.5樣本/像素 但隔行處理4:2:2亮度信號色度信號4:4:44:2:04:1:1 CCIR601 CIF QCIF SQCIF 行數(shù)/幀 像素/行 行數(shù)/幀 像素/行 行數(shù)/幀 像素/行 行數(shù)/幀 像素/行 亮度(Y) 576 720 288 360 144 180 96 128 色度(U) 576 360 144 180 72 90 48 64 色度(V) 576 360 144 180 72 90 48 64 videograbbervideobufferoverlayconversionTV coderVGAgraphicsVGAVRAMMMCPUDSPCodecPCI busvid