大數(shù)據(jù)可視化分析平臺介紹

1、大數(shù)據(jù)可視化分析平臺一、背景與目標基于邳州市電子政務建設的基礎支撐環(huán)境，以基礎信息資源庫（人口庫、法人庫、宏觀經(jīng)濟、地理庫）為基礎，建設融合業(yè)務展示系統(tǒng)，提供綜合信息查詢展示、信息簡報呈現(xiàn)、數(shù)據(jù)分析、數(shù)據(jù)開放等資源服務應用。實現(xiàn)市府領導及相關委辦的融合數(shù)據(jù)資源視角，實現(xiàn)數(shù)據(jù)信息資源融合服務與創(chuàng)新服務，通過系統(tǒng)達到及時了解本市發(fā)展的綜合情況，及時掌握發(fā)展動態(tài)，為政策擬定提供依據(jù)。充分運用云計算、大數(shù)據(jù)等信息技術，建設融合分析平臺、展示平臺，整合現(xiàn)有數(shù)據(jù)資源，結合政務大數(shù)據(jù)的分析能力與業(yè)務編排展示能力，以人口、法人、地理，人口與地理，法人與地理，實現(xiàn)基礎展示與分析，融合公安、交通、工業(yè)、教育、旅游

2、等重點行業(yè)的數(shù)據(jù)綜合分析，為城市管理、產(chǎn)業(yè)升級、民生保障提供有效支撐。二、政務大數(shù)據(jù)平臺 1、數(shù)據(jù)采集和交換需求：通過對各個委辦局的指定業(yè)務數(shù)據(jù)進行匯聚，將分散的數(shù)據(jù)進行物理集中和整合管理，為實現(xiàn)對數(shù)據(jù)的分析提供數(shù)據(jù)支撐。將為跨機構的各類業(yè)務系統(tǒng)之間的業(yè)務協(xié)同，提供統(tǒng)一和集中的數(shù)據(jù)交互共享服務。包括數(shù)據(jù)交換、共享和ETL等功能。2、海量數(shù)據(jù)存儲管理需求：大數(shù)據(jù)平臺從各個委辦局的業(yè)務系統(tǒng)里抽取的數(shù)據(jù)量巨大，數(shù)據(jù)類型繁雜，數(shù)據(jù)需要持久化的存儲和訪問。不論是結構化數(shù)據(jù)、半結構化數(shù)據(jù)，還是非結構化數(shù)據(jù)，經(jīng)過數(shù)據(jù)存儲引擎進行建模后，持久化保存在存儲系統(tǒng)上。存儲系統(tǒng)要具備高可靠性、快速查詢能力。3、數(shù)據(jù)計

3、算分析需求：包括海量數(shù)據(jù)的離線計算能力、高效即席數(shù)據(jù)查詢需求和低時延的實時計算能力。隨著數(shù)據(jù)量的不斷增加，需要數(shù)據(jù)平臺具備線性擴展能力和強大的分析能力，支撐不斷增長的數(shù)據(jù)量，滿足未來政務各類業(yè)務工作的發(fā)展需要，確保業(yè)務系統(tǒng)的不間斷且有效地工作。4、數(shù)據(jù)關聯(lián)集中需求：對集中存儲在數(shù)據(jù)管理平臺的數(shù)據(jù)，通過正確的技術手段將這些離散的數(shù)據(jù)進行數(shù)據(jù)關聯(lián)，即：通過分析數(shù)據(jù)間的業(yè)務關系，建立關鍵數(shù)據(jù)之間的關聯(lián)關系，將離散的數(shù)據(jù)串聯(lián)起來形成能表達更多含義信息集合，以形成基礎庫、業(yè)務庫、知識庫等數(shù)據(jù)集。5、應用開發(fā)需求：依靠集中數(shù)據(jù)集，快速開發(fā)創(chuàng)新應用，支撐實際分析業(yè)務需要。6、大數(shù)據(jù)分析挖掘需求：通過對海量的

4、政務業(yè)務大數(shù)據(jù)進行分析與挖掘，輔助政務決策，提供資源配置分析優(yōu)化等輔助決策功能，促進民生的發(fā)展。采用新型MPP數(shù)據(jù)庫+Hadoop的融合架構，使用MPP處理PB級別的、高質(zhì)量的結構化數(shù)據(jù)，同時為應用提供豐富的SQL支持能力;使用Hadoop處理海量半結構化、非結構化數(shù)據(jù)，從而滿足用戶多種數(shù)據(jù)的處理需求。智慧政務：基于分布式計算、存儲框架，面向政府不同價值的數(shù)據(jù)源，通過采集、存儲、建模、挖掘等大數(shù)據(jù)技術，在社會保障、公共安全、人居環(huán)境、勞動就業(yè)、文化教育、交通運輸、綜合治稅、消費維權、精準扶貧等領域開展大數(shù)據(jù)應用，優(yōu)化公共資源配置，提高公共服務水平。幫助政府促進經(jīng)濟發(fā)展、完善社會治理、提升政府服

5、務管理能力、服務改善民生，培育壯大新興產(chǎn)業(yè)。如下圖所示的政府綜合決策分析系統(tǒng)，利用大數(shù)據(jù)分析平臺，采集并分析多個部門共享上傳的業(yè)務數(shù)據(jù)，為政務部門提供決策支持。如下圖所示的政府效能監(jiān)察大數(shù)據(jù)系統(tǒng)，通過對各類政務服務事項，全市各個部門單位的政府網(wǎng)上辦事流程進行多維度，高效的及時監(jiān)察、分析，從而對辦事效率低下的職能部門和審批人員實現(xiàn)高效監(jiān)督；找出設置不合理的辦事流程，促進政府辦事流程的優(yōu)化。實現(xiàn)政府部門網(wǎng)上辦事多維度的數(shù)據(jù)分析挖掘，秒級展現(xiàn)效果，讓決策者一目了然發(fā)現(xiàn)問題，提升政府的服務水平。基礎信息融合應用展示分析基于政務大數(shù)據(jù)平臺開發(fā)或構建的各類系統(tǒng)如四大基礎庫系統(tǒng)、業(yè)務主題庫系統(tǒng)，通過政務大數(shù)

6、據(jù)平臺信息樞紐的作用，各系統(tǒng)不需要再與任何政府部門業(yè)務系統(tǒng)對接，而直接從政務大數(shù)據(jù)平臺關聯(lián)形成數(shù)據(jù)，為政府業(yè)務辦理提供支撐。三、視頻云結構化分析系統(tǒng)視頻云結構化分析系統(tǒng)可實現(xiàn)視頻中車輛和活動目標的結構化信息提取，提取屬性豐富，精確度高；支持智能結構化分析后文本信息和圖片信息的存儲和檢索；支持動態(tài)擴容，智能分析性能隨著設備數(shù)量增加呈線性增強；支持第三方標準視頻流的接入和智能分析應用；支持本地錄像的智能分析；系統(tǒng)自帶IE界面，提供智能檢索、數(shù)據(jù)統(tǒng)計、布控報警、任務管理、資源管理、集群管理、系統(tǒng)校時、日志查詢等功能。1.車輛大數(shù)據(jù)分析車輛圖片以圖搜圖車輛以圖搜圖是基于圖片的搜索模式，通過圖片建模后特

7、征向量的比對分析，并且在被搜索圖片中選擇特征區(qū)域進行二次比對，從圖片庫中檢索出符合條件的圖片，并根據(jù)相似度返回比對結果。準確率比單純建模后特性限量比對高50%。過車數(shù)據(jù)處理服務過車數(shù)據(jù)處理包括過車數(shù)據(jù)檢索、智能研判、OD分析、統(tǒng)計分析等幾大類。過車數(shù)據(jù)檢索過車數(shù)據(jù)檢索是通過全文檢索技術，對海量過車數(shù)據(jù)進行快速檢索，支持精確查詢、模糊查詢、多條件組合查詢。支持千億過車數(shù)據(jù)中秒級查詢到結果。過車數(shù)據(jù)檢索具體包括以下功能：普通過車查詢支持根據(jù)模糊條件、組合條件進行過車信息的查詢?？蛇x的條件包括卡口、車牌、車型、時間段等。針對只知道部分車牌信息的車輛可以輸入“*”代表多位，“？”代表一位號碼，進行模糊

8、匹配。違法車輛查詢支持根據(jù)組合條件進行報警車輛的查詢，違法車輛包括超速行駛、闖紅燈等車輛，可選條件包括卡口、時間段等。未識別車輛查詢支持根據(jù)組合條件對未識別車輛進行查詢，未識別車輛包括非機動車輛、沒有車輛通過確拍照的、只抓拍下部分車牌的車輛、正確抓拍卻未識別出的車輛，可選條件包括卡口、時間段等。布控報警查詢支持對布控的車輛及布控產(chǎn)生的報警進行查詢。異常牌照查詢支持根據(jù)組合條件對異常牌照的車輛進行查詢，異常牌照包括假牌、套牌等，可選條件包括卡口、時間段等。紅名單查詢支持對紅名單車輛進行情況。行車軌跡查詢支持根據(jù)行車軌跡對過車信息進行查詢。2.智能研判智能研判是通過對海量過車數(shù)據(jù)的分布式計算分析，

9、快速挖掘出其中有價值的信息。智能研判具體包括以下功能：行車軌跡智能研判車輛軌跡智能研判功能包含對精確目標、模糊目標兩類車輛進行軌跡智能研判。精確目標車輛軌跡智能研判：分析特定車輛在一段時間內(nèi)經(jīng)過多個信息采集點形成的行車軌跡，在PGIS上重現(xiàn)該車輛的行車路線。“特定車輛”是指查詢者明確該車輛的車牌號碼，至少清楚車牌號碼中絕大部分字符及準確的排序位置，在查詢過程中也可輔以準確的車身顏色或車型等其它特征信息縮小系統(tǒng)篩選范圍。“特定車輛”行車軌跡出現(xiàn)在信息平臺的PGIS地圖上，單擊任一采集點的卡口圖標，能重現(xiàn)當時車輛被捕獲抓拍的高清照片。若查詢者確認該車輛為嫌疑車，則可啟動布控報警與實時跟蹤功能，當該

10、車下一次穿過任意卡口（或卡口式電子警察）時，系統(tǒng)將自動報警并提示監(jiān)控人員，同時該車在未攔截之前，PGIS地圖上將實時顯示其后續(xù)穿過的卡口位置、行車軌跡、趨勢方向等信息。模糊目標車輛軌跡智能研判：當偵查或目擊者提供的車輛特征信息不明確時，結合有限的車輛特征信息和車輛逃逸方向，綜合目擊者發(fā)現(xiàn)它的時間段、有限的車輛特征信息、逃逸方向范圍內(nèi)的卡口等客觀條件進行檢索查詢，在PGIS上勾勒出同時滿足上述條件的所有車輛的行車軌跡，在查詢過程中也可輔以準確的車身顏色或車型等其它特征信息縮小系統(tǒng)篩選范圍。為偵查辦案工作進一步開展提供參考依據(jù)，比如：提供這些相關車輛的高清照片，其中包含清晰的車牌號碼、車輛輪廓特征

11、（車型、車品牌）、駕駛員面部特征等。短時通過車輛智能研判短時通過車輛智能研判是通過區(qū)間測速功能，對通過區(qū)間的時間在設定閾值內(nèi)的車輛進行研判。短時通過車輛智能研判一方面有助于將長期超速行駛的車輛納入治超名單，通過安裝在街面的LED信息發(fā)布屏對其進行公示、警告；另一方面有助于公安交通管理部門統(tǒng)計分析哪些路段發(fā)生超速行駛的次數(shù)最多，以輔助決策是否需要對這些道路進行加強管理，消除潛在的交通事故隱患。跟車關聯(lián)智能研判跟車關聯(lián)智能研判是針對刑偵時犯罪團伙車輛經(jīng)常結隊活動的特點，對犯罪嫌疑車輛進行信息查詢時，根據(jù)車牌省份地域分析其相鄰車輛號牌，挖掘出有關聯(lián)的車輛，為辦案提供線索。根據(jù)犯罪嫌疑車輛的車牌號碼、

12、車牌種類、車輛通過時間、分析時間間隔、路口名稱及車道號這幾個條件篩選出與犯罪嫌疑車輛有關聯(lián)的車。選定車牌號碼、時間段、路口等信息，通過設定的跟車間隔時間大小，分析出與此車輛關聯(lián)的其他車輛過車信息。套牌嫌疑智能研判套牌車輛智能研判功能主要包含基于車輛多個特征交叉比對的研判分析和基于行程時間的研判分析兩大類?；谲囕v多個特征交叉比對的套牌車輛智能研判：綜合分析車輛號牌、車型、車身顏色等車輛特征，自動發(fā)現(xiàn)套牌車輛，因為車牌號碼識別準確率最高，選擇車牌號碼為基準參數(shù)。比如：在城市內(nèi)發(fā)現(xiàn)車牌號碼一致，但車型不同，或者車牌號碼一致，但車身顏色不同，那么其中1輛一定是套牌車，在認定過程中將借助來自車管庫的登

13、記信息?；谛谐虝r間的套牌車輛智能研判：在PGIS地圖上，以卡口、卡口式電子警察布點較密集的路段為中心劃定幾個區(qū)域，區(qū)域之間設定時間差，對多個區(qū)域內(nèi)的通行車輛進行交叉比對，如果發(fā)現(xiàn)車牌號碼相同的車輛，那么其中1輛一定是套牌車，在認定過程中將借助來自車管庫的登記信息。其原理是在現(xiàn)實環(huán)境中同一輛車從一個區(qū)域跨度到另一個區(qū)域的行程時間不可能小于設定的時間差。頻繁出入車輛智能研判頻繁出入車輛智能研判是分析一段時間內(nèi)車輛通過某一個或某幾個卡口的頻度，當頻度大于設定值時，認為該車輛活動異常，并可顯示車輛的活動軌跡。該信息可用于車輛預警，同時提供統(tǒng)計報表，支持打印、保存及數(shù)據(jù)導出。區(qū)域碰撞智能研判區(qū)域碰撞智

14、能研判是利用數(shù)據(jù)碰撞技術來加速車輛特征信息的提取工作，比如在兩個卡口或兩個區(qū)域的所有卡口之間進行數(shù)據(jù)遍歷，找出符合檢索條件的車輛。根據(jù)嫌疑人會用類似的手段連續(xù)作案的動機原理，當在一定時間范圍發(fā)生作案手段類似的案件，對于指定的兩個或兩個以上區(qū)域范圍內(nèi)的所有卡口為基點，在指定的時間范圍內(nèi)，通過遍歷搜索的方式，碰撞搜索并精確定位具備相同車牌號碼的機動車，可以快速發(fā)現(xiàn)不同區(qū)域涉案嫌疑車輛之間的關聯(lián)性。初次入城智能研判在選定時間段和路口時，查詢所有首次通行選定路口的車輛的過車信息，對于任意車牌號碼只記錄首次通行的一條過車信息。選定路口名稱、車牌號碼、時間段，分析得到該時間段內(nèi)選定的車牌號碼首次通過該路口

15、時的過車信息。違法多發(fā)時間段智能研判通過對特定時間段內(nèi)違法車輛的統(tǒng)計分析，可分析出哪些時間段內(nèi)交通違法事件較多，如國慶期間、大型活動期間等。根據(jù)分析結果，有助于公安交通管理部門在這些時間段內(nèi)，做出相應的對策。違法多發(fā)地點智能研判通過對特定地點的違法車輛統(tǒng)計分析，可分析出哪些地點交通違法事件較多。這些分析結果有助于公安交通管理部門找出違法多發(fā)地點，以輔助決策是否需要對這些道路進行加強管理，消除潛在的交通事故隱患。3.OD分析支持過車數(shù)據(jù)的OD分析，包括區(qū)間測速、車輛誘導等。區(qū)間測速支持卡口與卡口間車輛的區(qū)間行駛速度測算，通過兩個卡口之間距離除以車輛穿過兩個卡口的時間差來計算車輛在區(qū)間通行的平均速

16、度（平均速度公式：V區(qū)間=S區(qū)間/T區(qū)間）。車輛誘導車輛誘導是根據(jù)車流量統(tǒng)計、區(qū)間測速而計算出哪些路段繁忙，哪些路段空閑，并實時將這些信息顯示在道路的LED屏上，根據(jù)深淺不同的顏色來標識道路的繁忙程度，幫助司機判斷走哪條路更加合理。4.統(tǒng)計分析統(tǒng)計分析包括以下功能：車流量統(tǒng)計用戶能夠按卡口單位、卡口名稱、車輛類型、卡口車道進行流量統(tǒng)計，車流量統(tǒng)計可以包括以下查詢條件：按卡口使用單位查詢、按卡口名稱查詢、按車輛車型查詢、按卡口車道查詢、按所選時間模式進行查詢。車流量統(tǒng)計可以按照五種時間模式（年、月、周、日、自定義時間段）自動生成3D柱狀圖形式的報表（年報表、月報表、周報表、日報表、時間段報表），

17、并且報表可以導出和打印。統(tǒng)計結果可以作為日常道路交通誘導和交通優(yōu)化管理的依據(jù)，方便用戶定期對交通狀況進行處理和總結。系統(tǒng)能夠?qū)嚵髁壳闆r，進行數(shù)據(jù)分析，對路段堵塞、車流量異常減少、增多、斷流等情況可進行智能判斷并報警。車道平均速度統(tǒng)計用戶能夠按卡口單位、卡口名稱、車輛類型、卡口車道進行車速統(tǒng)計，統(tǒng)計結果可以作為日常道路交通誘導和交通優(yōu)化管理的依據(jù)，方便用戶定期對交通狀況的處理和總結。同時，對于超速頻繁的路段，公安交通管理可加強管理，消除潛在的交通事故隱患。車頭時距分析支持根據(jù)開始時間、結束時間對一個或多個路口進行車輛的車頭時距進行統(tǒng)計分析，生成統(tǒng)計報表，支持根據(jù)需要生成柱狀圖，餅狀圖，對統(tǒng)計結果支持圖形和報表的導出。車頭距離分析支持根據(jù)開始時間、結束時間對一個或多個路口進行車輛的車頭距離進行統(tǒng)計分析，生成統(tǒng)計報表，支持根據(jù)需要生成柱狀圖，餅狀圖，對統(tǒng)計結果支持圖形和報表的導出。車道時間占有率統(tǒng)計支持根據(jù)開始時間、結束時間對一個或多個路口進行車道占有率統(tǒng)計，生成統(tǒng)計報表，支