數(shù)據(jù)庫作業(yè)調(diào)度基礎(chǔ)知識(shí).ppt

作業(yè)調(diào)度程序介紹,什么是ETL,ETL，Extraction-Transformation-Loading的縮寫，中文名稱為數(shù)據(jù)提取、轉(zhuǎn)換和加載。 ETL(Extract-Transform-Load的縮寫，即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過程)作為BI/DW（Business Intelligence）的核心和靈魂，能夠按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的價(jià)值，是負(fù)責(zé)完成數(shù)據(jù)從數(shù)據(jù)源向目標(biāo)數(shù)據(jù)倉庫轉(zhuǎn)化的過程，是實(shí)施數(shù)據(jù)倉庫的重要步驟。如果說數(shù)據(jù)倉庫的模型設(shè)計(jì)是一座大廈的設(shè)計(jì)藍(lán)圖，數(shù)據(jù)是磚瓦的話，那么ETL就是建設(shè)大廈的過程。在整個(gè)項(xiàng)目中最難部分是用戶需求分析和模型設(shè)計(jì)，而ETL規(guī)則設(shè)計(jì)和實(shí)施則是工作量最大的，約占整個(gè)項(xiàng)目的60%80%，這是國內(nèi)外從眾多實(shí)踐中得到的普遍共識(shí)。,ETL工具軟件,ETL工具的典型代表有:Informatica、Datastage、微軟DTS,ETL和數(shù)據(jù)倉庫,ETL是數(shù)據(jù)倉庫中的非常重要的一環(huán)。它是承前啟后的必要的一步。相對(duì)于關(guān)系數(shù)據(jù)庫，數(shù)據(jù)倉庫技術(shù)沒有嚴(yán)格的數(shù)學(xué)理論基礎(chǔ)，它更面向?qū)嶋H工程應(yīng)用。所以從工程應(yīng)用的角度來考慮，按著物理數(shù)據(jù)模型的要求加載數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行一些系列處理，處理過程與經(jīng)驗(yàn)直接相關(guān)，同時(shí)這部分的工作直接關(guān)系數(shù)據(jù)倉庫中數(shù)據(jù)的質(zhì)量，從而影響到聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘的結(jié)果的質(zhì)量。 數(shù)據(jù)倉庫是一個(gè)獨(dú)立的數(shù)據(jù)環(huán)境，需要通過抽取過程將數(shù)據(jù)從聯(lián)機(jī)事務(wù)處理環(huán)境、外部數(shù)據(jù)源和脫機(jī)的數(shù)據(jù)存儲(chǔ)介質(zhì)導(dǎo)入到數(shù)據(jù)倉庫中；在技術(shù)上，ETL主要涉及到關(guān)聯(lián)、轉(zhuǎn)換、增量、調(diào)度和監(jiān)控等幾個(gè)方面；數(shù)據(jù)倉庫系統(tǒng)中數(shù)據(jù)不要求與聯(lián)機(jī)事務(wù)處理系統(tǒng)中數(shù)據(jù)實(shí)時(shí)同步，所以ETL可以定時(shí)進(jìn)行。但多個(gè)ETL的操作時(shí)間、順序和成敗對(duì)數(shù)據(jù)倉庫中信息的有效性至關(guān)重要。,什么是作業(yè)調(diào)度程序,作業(yè)調(diào)度程序是ETL工作流程的一個(gè)調(diào)度軟件，負(fù)責(zé)管理和調(diào)度ETL工作的流程順序 嘉訊的總控程序，是用C語言編寫的一個(gè)調(diào)度程序 嘉訊的總控程序相對(duì)于產(chǎn)品化得ETL工具，缺少對(duì)于數(shù)據(jù)處理的部分，僅是在UNIX上shell作業(yè)的調(diào)度程序 真正的etl處理需要具有獨(dú)立功能的作業(yè)實(shí)現(xiàn),調(diào)度程序要點(diǎn),接口類作業(yè)(import/export) 數(shù)據(jù)加工處理類作業(yè)(存儲(chǔ)過程) 作業(yè)配置順序-依賴與限制 作業(yè)的獨(dú)立性 日志,調(diào)度程序與銀行管理系統(tǒng),為什么銀行管理系統(tǒng)需要ETL？ 數(shù)據(jù)量大 嘉訊調(diào)度程序在做些什么？ 調(diào)度程序就是在做ETL 具體的說，我們是每天從上游系統(tǒng)獲取客戶的資產(chǎn)變動(dòng)情況，加工成嘉訊管理系統(tǒng)使用的指標(biāo)值。,作業(yè),1.了解什么是ETL？什么是數(shù)據(jù)倉庫？ 2.了解LOAP與OLTP是什么?區(qū)別在哪里？ 3.了解幾個(gè)數(shù)據(jù)庫，oracle,db2,sysbase,sql server,my sql,teradata,要求羅列出這些產(chǎn)品的公司及一般應(yīng)用范圍，每一個(gè)產(chǎn)品找到一個(gè)入門學(xué)習(xí)文檔。 4.摘要以上數(shù)據(jù)庫的im