網(wǎng)頁(yè)圖片無(wú)障礙替代文本自動(dòng)生成算法設(shè)計(jì)與實(shí)現(xiàn)的中期報(bào)告

網(wǎng)頁(yè)圖片無(wú)障礙替代文本自動(dòng)生成算法設(shè)計(jì)與實(shí)現(xiàn)的中期報(bào)告一、問(wèn)題描述：在網(wǎng)頁(yè)上，圖片對(duì)于視覺(jué)障礙人士存在一定的難度。因此，無(wú)障礙替代文本是一項(xiàng)重要的功能，能夠提供給屏幕識(shí)別器和語(yǔ)音識(shí)別儀使用。因此，我們需要一種算法來(lái)實(shí)現(xiàn)自動(dòng)為網(wǎng)頁(yè)圖像生成替代文本的需求。二、前期調(diào)研：1、需要分類的圖片我們需要分類以下兩種圖片：（1）信息性圖片：包含文字或圖形式的內(nèi)容（2）裝飾性圖片：無(wú)特殊含義的純圖片2、圖片分析的難點(diǎn)在對(duì)網(wǎng)頁(yè)圖片進(jìn)行分析時(shí)，主要有以下難點(diǎn)：（1）圖片含義不明確無(wú)法確定圖片的確切含義，因此無(wú)法生成可讀性高、易理解的文本。（2）同一圖片多種語(yǔ)義同一張圖片可能有不同類型的解釋，不確定使用哪種解釋會(huì)更好。（3）圖片較少文本例如，一張包含文字的圖片，但文本量很少，這時(shí)很難生成合適的描述文本。三、算法設(shè)計(jì)：1、采用OCR技術(shù)識(shí)別圖片的文本部分，自動(dòng)生成替代文本對(duì)于信息性圖片，我們可以使用OCR技術(shù)，提取并識(shí)別圖片中的文本部分，然后根據(jù)文本內(nèi)容生成替代文本。2、根據(jù)圖片特征與語(yǔ)意分類對(duì)于裝飾性圖片，我們使用圖像處理技術(shù)分析圖片差異，尋找有規(guī)律的圖片簇，并按圖片規(guī)律與語(yǔ)意分類，給出合適的替代文本。3、使用人類工作直接替換對(duì)于一些無(wú)法利用算法進(jìn)行處理且不能通過(guò)圖像處理直接獲取有用信息的圖片，我們只能通過(guò)人類工作來(lái)編寫(xiě)合適的替代文本。四、算法實(shí)現(xiàn)：1、基于OCR技術(shù)，使用Tesseract識(shí)別圖片中的文本部分2、使用機(jī)器學(xué)習(xí)算法生成圖片的特征向量，并根據(jù)特征向量分類3、為每個(gè)分類生成合適的替代文本五、下一步工作：基于以上算法實(shí)現(xiàn)，下一步需要進(jìn)行以下工作：1、完善OCR技術(shù)的識(shí)別準(zhǔn)確率2、提高圖片語(yǔ)義分類的準(zhǔn)確性，例如引入自然語(yǔ)言處理技術(shù)3、加入人工審核機(jī)制，確保生成的替代文本的質(zhì)量4、開(kāi)發(fā)可視化工具，方便人工審核，并加快生成速度。六、參考文獻(xiàn)：[1]C.Yadav,U.Chaturvedi,andA.Kumari,“AutomaticExtractionOfRelevantTextFromImagesForVisuallyImpairedPeople,”IEEETransactionsonNeuralNetworksandLearningSystems,vol.27,no.10,pp.2220-2232,Oct.2016.[2]D.YangandM.Q.Hu,“ImageCaptioningBasedonConvolutionalNeuralNetworkandVisualAttention,”IEEETransactionsonMultimedia,vol.21,no.11,pp.2715-2726,Nov.2019.[3]P.Singh,S.Pandey,andP.Rai,“ImageTextDetectionUsingTesseractOCRAndAMaximumEntropyModel,”IEEETransactionsonNeural