某省財政支出項目績效評價操作指南(DOC 65頁).doc

財政支出項目績效評價操作指南財政支出項目績效評價操作指南 試行 試行 海南省財政廳 2010 年 8 月 I 目錄目錄 1引言引言 1 1 1背景 1 1 2目的 1 1 3內容 1 1 4使用 4 2項目績效評價的基本概念項目績效評價的基本概念 5 2 1績效評價的定義 5 2 2績效評價的原則 5 2 3項目的邏輯模型 5 2 4績效評價的準則 6 2 5績效評價的步驟 7 3評價任務的組織評價任務的組織 9 3 1評價任務的組織模式 9 3 2評價管理者的職責 9 3 3績效評價小組 9 4編制評價任務大綱編制評價任務大綱 11 4 1功能 11 4 2編寫步驟 11 4 3內容 12 5績效評價設計績效評價設計 15 5 1前期準備 15 5 2開發(fā)績效評價框架 16 5 3完成績效評價實施方案 27 6績效評價的實施績效評價的實施 30 6 1證據收集 30 6 2證據整理 35 6 3分析 36 6 4績效評級 37 6 5形成評價結論 經驗教訓和建議 39 7評價結果的報告評價結果的報告 41 II 7 1執(zhí)行摘要的編寫 42 7 2主體報告 42 7 3附件 47 7 4與利益相關者溝通 47 7 5形成報告終稿 47 8評價結果的使用和擴散評價結果的使用和擴散 48 8 1評價結果的使用 48 8 2評價結果的擴散 49 9績效評價的質量控制績效評價的質量控制 50 9 1高質量績效評價的特點 50 9 2不同階段的質量控制 50 附件附件 53 附件 1 評價任務大綱 格式 53 附件 2 績效評價實施方案 格式 54 附件 3 財政支出項目績效評價報告 格式 57 III 表表 表 4 1 評價任務大綱評價任務實施計劃模板 14 表 5 1 項目基礎信息表 16 表 5 2 績效評價框架結構 17 表 5 3 關鍵評價問題的適用性 20 表 5 4 相關性評價指標開發(fā) 以遼寧城市交通項目為例 22 表 5 5 效率評價指標開發(fā) 以遼寧城市交通項目為例 23 表 5 6 效果評價指標開發(fā) 以遼寧城市交通項目為例 24 表 5 7 可持續(xù)性評價指標開發(fā) 以遼寧城市交通項目為例 25 表 5 8 證據收集方法的優(yōu)缺點 27 表 5 9 遼寧城市交通項目省級座談會問題清單 部分 28 表 5 10 績效評價任務分解模板 29 表 6 1 案卷研究方法收集證據 以遼寧城市交通項目為例 31 表 6 2 面訪人員清單 32 表 6 3 座談會參與人員清單 34 表 6 4 績效評價表 38 表 7 1 項目關鍵信息 43 表 7 2 XX 項目績效評價等級表 43 圖圖 圖 1 1 績效評價操作指南框架 3 圖 2 1 項目邏輯模型 6 圖 5 1 績效評價設計流程 15 圖 5 2 設計階段績效評價框架開發(fā)流程 18 圖 7 1 績效評價報告編寫流程 42 IV 專欄專欄 專欄 4 1 高質量評價任務大綱的核查問題清單 14 專欄 5 1 開發(fā)評價指標的原則 21 專欄 5 2 遼寧城市交通項目簡介 21 專欄 5 3 績效評價證據來源 26 專欄 6 1 證據收集的一般規(guī)則 30 專欄 6 2 面訪記錄格式 32 專欄 6 3 遼寧城市交通項目省級座談會日程安排 33 專欄 6 4 座談會記錄格式 34 專欄 6 5 實地調研記錄格式 35 專欄 6 6 評價結論舉例 河北公路發(fā)展項目績效評價 39 專欄 6 7 經驗教訓舉例 河北公路發(fā)展項目績效評價 39 專欄 6 8 建議舉例 河北公路發(fā)展項目績效評價 40 專欄 7 1 撰寫績效評價報告的要點 41 專欄 7 2 圖 表的編制原則 45 專欄 7 3 績效分析格式 45 1 1引言引言 1 1背景背景 2009 年 6 月 22 日 財政部發(fā)布了 財政支出績效評價管理暫行辦法 財 預 2009 76 號 以下簡稱 辦法 財政支出績效評價自此有了統(tǒng)一的部門 規(guī)章 辦法 對績效評價的實施和管理提出了明確要求 對績效評價涉及的各 方職責 評價內容 評價指標的確定 評價方法 實施程序 報告撰寫和評價 結果應用作出了原則性的規(guī)定 辦法 同時指出 各地可據此 辦法 制定切 合本地實際的管理辦法和實施細則 為此 海南省財政廳參照財政部 國際金融組織貸款項目績效評價操作指 南 并在開展績效評價試點的基礎上 組織編寫了 財政支出項目績效評價操 作指南 以下簡稱 指南 用以指導全省各級政府部門開展績效評價工作 1 2目的目的 本 指南 旨在向全省各級政府部門和評價人員開展財政支出項目績效評 價 簡稱績效評價 1 提供具體操作指導 從而幫助他們更好地理解 管理和 實施評價活動 并提高評價的規(guī)范性和質量 本 指南 有 3 個主要目的 幫助各級政府部門管理人員 項目實施人員和評價人員更好地理解并 掌握財政支出項目績效評價的基本概念 一般準則 方法及其他相關 知識 幫助各級政府部門有效地開展績效評價管理工作 并對績效評價進行 質量控制 指導評價人員規(guī)范地實施績效評價任務 從而提高績效評價的質量 此外 本 指南 還可以作為各級政府部門建立適合本地 本部門實際的 績效目標管理系統(tǒng)的重要參考 1 3內容內容 本 指南 包括 9 章內容 第 1 章是引言 主要說明 指南 編寫的背景 1 以下如無特殊說明 績效評價均指的是財政支出項目績效評價 2 目的 內容及其使用 第 2 章是績效評價的基本概念 主要介紹本 指南 涉 及的定義 評價原則 準則 評價步驟等 第 3 4 章是績效評價管理 主要闡 述評價任務的組織和評價任務大綱的設計與編寫 第 5 7 章是績效評價的設計 與實施 重點介紹績效評價的設計 實施和評價報告編寫 第 8 章是評價結果 的使用與擴散 介紹如何使用評價結果 如何進行評價結果的擴散 第 9 章是 績效評價的質量控制 質量控制對于績效評價非常關鍵 是評價管理者重要工 作之一 質量控制貫穿于績效評價從設計 實施到撰寫報告的全過程 3 圖 1 1 財政支出項目績效評價操作指南框架 前期準備 準備階段 確定評價任務 確定評價任務的實施模式 第 3 章 編制評價任務大綱 第 4 章 評價設計 設計階段 第 5 章 前期準備 開發(fā)績效評價框架 核心 形成評價實施方案 質量控制 第 9 章 評價實施 實施階段 第 6 章 證據收集 質量控制 第 9 章 證據整理 證據分析 績效評級 形成評估結論 經驗教訓和建 議 報告結果 報告階段 第 章 編寫報告正文 摘要 附件初 稿 績效評價初稿 與利益相關者溝通 修改形成績效評價終稿 結果使用和擴散 使用和擴散階段 第 8 章 質量控制 第 9 章 4 1 4使用使用 本 指南 適用于 辦法 中涉及的財政性資金安排的支出項目 以下簡 稱項目 2 本 指南 的使用者包括各級財政部門及其他政府部門中負責績效 評價管理的人員 參與財政支出項目績效評價的評價人員 咨詢專家及其他相 關人員 本 指南 的內容針對不同使用者的需求進行了編排 第 1 2 8 章 適用于所有使用者閱讀和使用 第 3 4 9 章主要供績效評價管理者閱讀和使 用 第 5 6 7 章則主要供評價人員 咨詢專家閱讀和使用 當然 我們鼓勵 使用者閱讀完 指南 的全部內容 以便更好地理解并開展績效評價工作 2 如無特殊說明 以下 項目 均指財政性資金安排的項目 5 2項目績效評價的項目績效評價的基本概念基本概念 2 12 1 績效評價的定義績效評價的定義 績效評價的定義是開展項目績效評價相關各方相互溝通和理解的一個基礎 本 指南 所稱的績效評級 是指財政部門和預算部門 單位 根據設定的 績效目標 運用科學 合理的評價方法 指標體系和評價標準 對財政支出 產出和效果進行客觀 公正的評價 2 22 2 績效評價的原則績效評價的原則 客觀 公正原則 應當依據績效評價準則 關鍵評價問題等開展評價 活動 確保評價結果的真實性 科學 規(guī)范原則 績效評價的設計應當具有科學性和可操作性 評價 的實施應該遵循規(guī)范的程序和方法 可靠性原則 績效評價應該既要報告項目成功的方面 也要報告項目 失敗的方面 目標導向原則 績效評價以項目目標為導向 重點評價項目目標的相 關性 目標實現(xiàn)程度 相對于目標實現(xiàn)程度的效率 以及項目成效的 可持續(xù)性 參與性原則 項目各利益相關者 包括項目管理方 項目實施單位 項目受益群體 有關專家等 要盡可能地以適當方式參與到考評過程 中來 2 32 3 項項目目的的邏邏輯輯模模型型 財政支出項目的設計都應使用邏輯模型 項目邏輯模型是一種理解從投 入到結果之間的因果關系的有效工具 項目邏輯模型包括投入 活動 產出 成效 影響 5 個關鍵要素 其背后的邏輯是 對一個項目投入一定的資源 以 便其開展必要的活動 至少有一些活動會獲得一些產出 比如產品和服務 通 過使用這些產出應該會帶來某種變化 投入 Inputs 指用于項目實施的各種資源 包括人力 資金 實物 6 時間和專業(yè)技能等資源 活動 Activities 我們所做的 指為實現(xiàn)項目目標而調動和使用各種 資源的各項行動和工作 活動可以使用動詞來表述 開展 建設 培訓 調研 等 產出 Outputs 我們所生產的 指通過實施各項活動而產生的產品和服 務 是有形的 可計算的 比如為 50 個人提供了醫(yī)療服務 培訓了 100 名小學 教師 修建了 100 公里公路 成效 Outcomes 我們?yōu)楹巫?指通過使用項目的產出而帶來的短期或 中期的直接效果 成效能夠被增加 減少 增強 改善或維持 比如新修公路 使通行時間縮短 提高了運輸效率 設定清晰的成效對于設計和構建結果導向 的監(jiān)測與評價體系至關重要 成效不能直接考核 它必須轉化為一組關鍵指標 這些指標能夠提供關于成效是否得以實現(xiàn)的信息 影響 Impacts 指由成效累積導致的長期的或全面的變化 類似于戰(zhàn)略 目標 比如運輸效率提高降低了運輸成本 成效 從而促進了當地經濟的發(fā)展 影響 圖 2 1 以某培訓項目為例 解釋項目邏輯模型 圖 2 1 項目邏輯模型 以某培訓項目為例 2 42 4 績效評價的準則績效評價的準則 本 指南 采用以下 4 個評價準則 即相關性 效率 效果和可持續(xù)性 投入活動產出成效影響 1 資金 2 人員 3 物料供應 1 培訓 2 教育 3 咨詢服務 1 服務時數 2 完成課程 的參加者人 數 1 技能提升 2 態(tài)度改變 3 新的就業(yè) 機會 1 培訓者在 5 年 內比那些沒有接 受培訓的人掙得 更多 2 接受培訓的人 的生活水平高于 控制組 7 2 4 1 相關性 相關性是指項目目標與政府的發(fā)展政策和優(yōu)先重點 部門 行業(yè)發(fā)展規(guī)劃以 及受益群體的需求的相符程度 通過對相關性的評價 可以檢查項目設計和項 目實施是否針對當地的實際需求 解決當地的實際問題 2 4 2 效率 效率是指資源 投入轉化為結果的經濟性 效率評價的內容包括項目實施的 時間效率 資金使用 在使用既定資源下的產出情況 項目的經濟內部收益率 EIRR 項目實施的時間效率考察項目是否按計劃的時間開工 是否在計劃實施周 期內完工 資金使用考察項目資金的使用是否按照預算執(zhí)行 在使用既定資源 下的產出情況是指項目是否實現(xiàn)了所有的預計產出 項目經濟內部收益率是指 項目周期內經濟凈現(xiàn)值累計等于零的折現(xiàn)率 是反映項目對國民經濟和社會貢 獻的相對指標 2 4 3 效果 效果是指項目目標的實現(xiàn)程度 它也表現(xiàn)為目標群體的受益情況 效果從 項目目標實現(xiàn)程度和項目瞄準度兩方面進行評價 項目目標是在項目設計時的 預計成效 指通過一系列項目活動而要實現(xiàn)的結果 通常表現(xiàn)為對社會 經濟 社區(qū) 目標人群所產生的積極作用 項目瞄準度是指考察項目成果是否真正地 被目標群體享有 也就是說 項目效果的評價不僅取決于項目實現(xiàn)預期目標的 程度 也要考察其成果 一般表現(xiàn)為項目提供的產品或服務 是否使目標人群 受益 2 4 4 可持續(xù)性 可持續(xù)性是指項目完工后持續(xù)運行和發(fā)揮成效的可能性 它針對保障項目 持續(xù)運行并發(fā)揮成效的各方面因素進行評價 這些因素包括項目管理或運行機 構的持續(xù)性 項目產出的維護和利用 制度保障等 此外 由于財政部門對項 目還款十分關注 可持續(xù)性還對項目還款能力進行評價 8 2 52 5 績效評價的步驟績效評價的步驟 績效評價一般包括以下幾個步驟 每個步驟的詳細內容和做法將在以后各 章進行闡述 第 1 步 前期準備 前期準備包括確定績效評價任務和評價組織實施模式 見第 3 章 編制評 價任務大綱 見第 4 章 等 第 2 步 評價設計 根據評價任務大綱設計詳細的評價實施方案 包括開發(fā)績效評價框架 選 擇證據收集方法 設計面訪 座談會和實地調研等的問題清單 進行人員 時 間和經費安排等 見第 5 章 第 3 步 評價實施 按照設計的方案開展績效評價 包括證據收集整理 證據分析 形成評價 結論 經驗教訓和建議等 見第 6 章 第 4 步 報告評價結果 按照本 指南 附件 3 的格式編寫績效評價報告 在此過程中要與利益相 關者進行溝通 并將他們的觀點和意見吸收到評價報告中來 見第 7 章 第 5 步 評價結果使用和擴散 項目管理部門利用評價結果 用于解決問題 改進管理或為決策提供依據 財政部門將評價結果與以后年度的預算安排進行掛鉤 見第 8 章 9 3評價任務的組織評價任務的組織 具體評價任務由財政部門以文件形式下達的年度評價計劃確定 3 1評價任務的組織模式評價任務的組織模式 評價任務可以由管理部門 各級財政部門和預算部門 組織實施 也可根 據需要委托外部專業(yè)機構或專家進行 并與其簽訂委托合同 無論采取哪種方 式 管理部門都應指派一名評價管理者 并要組建合格的評價小組實施績效評 價 3 2評價管理者的職責評價管理者的職責 評價管理者應為熟悉被評項目的管理人員 應履行以下職責 編寫績效評價任務大綱 與評價小組進行充分溝通 使其完全理解評價任務大綱的每一項內容 為評價活動提供必要的支持和及時的反饋 監(jiān)督評價活動的進展并進行質量控制 對評價活動中出現(xiàn)的情況及時做出決策 如委托合同需要變更 應與評價小組進行協(xié)商 檢查評價報告初稿是否符合合同和 指南 的要求 對評價報告初稿提出反饋意見 確保各利益相關者有機會對評價報告初稿提出意見和建議 并保證這些 意見和建議反映在評價報告終稿中 促進評價結果的使用和擴散 10 3 3績效評價小組績效評價小組 3 3 1評價小組應具備的知識和技能 不管是管理部門自己評價 還是委托外部專業(yè)機構或專家評價 都需要成 立績效評價小組 評價小組是進行績效評價的設計 實施和報告編寫的團隊 評價小組對于績效評價尤為重要 它是評價任務能否成功實施的關鍵因素 雖 然績效評價需要的知識和技能因不同項目而異 但以下列出的知識和專業(yè)技能 是評價小組必須具備的 績效評價知識和技能 這是一種綜合的能力 包括績效評價理論知識 方法和其他技能 如經濟分析 統(tǒng)計分析 社會調查等 溝通能力 溝通能力十分重要 它有利于與利益相關者進行友好溝通 促進利益相關者參與績效評價并提供必要協(xié)助 并向不同用戶有效地報 告評價結果 組織協(xié)調能力 組織協(xié)調能力是保證績效評價順利實施的關鍵 包括組 織和調動各種資源 協(xié)調評價中不同任務的進展 控制評價任務在規(guī)定 的時間內完成 行業(yè)知識 評價小組要熟悉項目所在的行業(yè)背景 發(fā)展狀況 相關政策 專業(yè)知識等 了解當地情況 因為項目實施的成功與否有時取決于當地因素 所以了 解當地社會和文化背景很重要 評價小組還需要了解當地的發(fā)展政策 優(yōu)先重點 以及面臨的主要發(fā)展問題 如果項目的目標群體還涉及少數 民族 還應該了解并尊重他們的生活習俗 以便更好地與他們進行溝通 3 3 2評價小組的構成 評價小組由若干名評價人員組成 評價小組成員不得與項目管理 實施 運行等有利益沖突 并不要求評價小組的每名成員都具備上述知識和能力 允 許評價人員各具專長 通過互相補充 互相學習而使整個評價小組具備上述知 識和技能 從而勝任評價任務 評價小組必須指定一名評價組長 組長應該具備以下條件 11 具有較為深厚的績效評價知識和技能 熟悉被評項目所在領域的相關政策 技術 管理等知識 具有較強責任心 評價組長應履行以下職責 負責與管理部門溝通 督促并協(xié)調評價小組成員的工作并管理日常工作 在評價小組出現(xiàn)不同意見時充當協(xié)調人 確保評價小組按照評價任務大綱實施評價 編寫評價報告并負責報告最終定稿 12 4 編制評價任務大綱編制評價任務大綱 評價任務大綱 Terms of Reference TOR 是一個書面文件 它載明評價 的目的和范圍 評價使用的方法 績效評價或分析針對的標準 需要的資源 時間安排和評價報告要求 每個項目績效評價都必須編寫一個評價任務大綱 4 14 1 功能功能 評價任務大綱體現(xiàn)了管理部門對績效評價的要求 是從評價任務組織到評 價結果使用與擴散的整個評價活動必須遵循的核心文件 評價任務大綱對于績 效評價至關重要 主要發(fā)揮以下 4 個方面的作用 將年度評價計劃中的任務轉化成可操作的評價工作 為評價小組進行具體評價設計和實施提供基礎 為各利益相關方對評價任務形成共識提供基礎 為評價管理者進行績效評價質量控制 核查評價小組任務完成情況提供 依據 4 24 2 編寫步驟編寫步驟 評價任務大綱由評價管理者根據確定的評價任務進行編寫 編寫評價任務 大綱一般包括 4 個步驟 前期準備 起草評價任務大綱初稿 與利益相關者溝 通 形成最終評價任務大綱 4 2 1 前期準備 編寫之前要對項目進行必要的研究和分析 要明確評價目的 熟悉項目目 標 特點 實施和完成情況 了解項目實施的社會經濟背景 掌握項目現(xiàn)有數 據信息情況 4 2 2 起草評價任務大綱初稿 在前期準備和估算用于評價的資源 包括經費 人員和時間 等基礎上 編寫評價任務大綱初稿 13 4 2 3 與利益相關者溝通 評價任務大綱初稿要與項目主管部門 項目實施及運行機構 行業(yè)專家等 主要利益相關者進行溝通 聽取他們的意見和建議 4 2 4 形成最終評價任務大綱 在考慮利益相關者的建議和意見基礎上 修訂完善評價任務大綱初稿 形 成最終評價任務大綱 4 34 3 內容內容 高質量的評價任務大綱應該包括以下幾部分內容 評價目的 項目描述 評價范圍 涉及的利益相關者 關鍵評價問題 方法 預期成果 評價小組 實施計劃 費用與支付 管理部門責任等 4 3 1 評價目的 評價任務大綱的第一部分要明確評價目的 評價目的要具體寫明為什么要 開展此項評價 評價結果將如何使用 以及由誰使用 4 3 2 項目描述 對項目背景 項目目標 項目投入與活動 實施情況等方面進行簡要描述 以便評價人員能夠迅速了解項目基本情況 項目背景 項目實施的國家層面和地方層面的社會經濟發(fā)展狀況 項目 所屬的領域 所要解決的主要問題 如基本醫(yī)療衛(wèi)生服務不足問題 城 市交通發(fā)展瓶頸問題 環(huán)境污染問題等 項目目標 項目的預期產出和成效 如果項目設定了具體目標 還應描 述其具體目標 項目投入與活動 項目投入金額和構成 為了實現(xiàn)項目目標而設置的項 目組成 Components 及其開展的活動 Activities 實施情況 項目的實施周期 從開工到完工 實施地點 實施組織情 況 4 3 3 評價范圍 評價范圍確定了績效評價的廣度和深度 包括時間范圍 地域范圍和收益 群體范圍 評價范圍往往與評價目的有關 14 4 3 4 涉及的利益相關者 項目往往涉及多個利益相關者 包括管理部門 項目實施機構 項目運行 機構 目標群體 社區(qū)等 要說明希望他們參與績效評價的形式 上述描述是 為了使評價人員了解項目的利益相關者 并盡可能從他們那里收集到績效評價 的有用信息 4 3 5 關鍵評價問題 這部分要列出績效評價想要回答的關鍵問題 關鍵評價問題是針對評價目 的 在評價準則基礎上進行開發(fā)的 本 指南 列出了 12 個必須回答的關鍵評 價問題 見第 5 2 1 節(jié) 管理部門根據需要 可以突出其中若干個問題 或補 充其他問題 4 3 6 方法 描述證據收集可能用到的方法 比如案卷研究 面訪 實地調研 問卷調 查 座談會等 不同方法的成本不同 在選擇使用何種方法時要考慮績效評價 的預算 具體方法由評價小組進行開發(fā) 4 3 7 預期成果 通過績效評價管理部門想要獲得的成果 如績效評價報告 評價進展報告 及其提交時間 如果評價成果要用于擴散 如研討會 那么這部分還要描述評 價人員在成果擴散中應發(fā)揮哪些作用 4 3 8 評價小組 這部分要描述評價小組所需要的知識 能力和經驗 以及其他相關能力 如語言能力 還要描述建議的評價小組人數 4 3 9 實施計劃 這部分說明評價任務將要開展的活動及時間安排 尤其是評價成果的提交 時間節(jié)點 這里主要列出評價任務實施的關鍵時間節(jié)點和任務負責人 詳細的 實施計劃由評價小組開發(fā) 實施計劃模板 見表 4 1 15 表 4 1 評價任務大綱評價任務實施計劃模板 序號活動描述時間安排負責人 1簽訂任務合同XX 年 XX 月XX 管理部門 評價小組 2開發(fā)績效評價框架XX 年 XX 月評價小組 3形成評價方案XX 年 XX XX 月評價小組 4評價實施XX 年 XX XX 月評價小組 5提交報告初稿XX 年 XX 月評價小組 6利益相關者反饋XX 年 XX 月XX 管理部門及其他利益相關者 7評價報告終稿XX 年 XX 月評價小組 注 如果由財政部門自己開展績效評價 這個步驟則省略 4 3 10 費用與支付 這部分說明評價任務的預算費用和支付方式 4 3 11 管理部門責任 評價任務大綱要寫明管理部門在績效評價中的責任 包括管理部門要提供 相關項目文檔 為評價小組提供必要的協(xié)調 參與績效評價實施過程中的某些 活動 如實地調研 座談會和討論 對績效評價進行質量控制等 由于評價任務大綱對績效評價的成功實施至關重要 因此在公布最終評價 任務大綱之前 管理部門要對其質量進行檢查 見專欄 4 1 專欄 4 1 高質量評價任務大綱的核查問題清單 為什么要開展此項評價 評價涉及了哪些利益相關者 所提出的評價問題是否明確 是否所有問題都能被回答 評價任務大綱是否提出了關于評價方法或評價程序的硬性要求 這些要求是否合理 是否有足夠的資源和時間來完成評價任務 在評價實施過程中 管理部門和其他利益相關者將為評價小組提供哪些必要支持 管理部門對于評價報告的要求是否清晰 評價小組能否根據評價任務大綱深化評價設計和實施評價任務 評價任務大綱格式見附件 1 16 5 績效評價設計績效評價設計 僅僅有高質量的評價任務大綱還不能保證績效評價的成功實施 因為評價 任務大綱由評價管理者負責設計 主要對績效評價的關鍵要素進行說明 是績 效評價實施的綱領性文件 但是 績效評價任務由評價小組負責具體實施 這 就要求評價小組要在對評價任務理解的基礎上 將評價任務大綱轉化為可操作 的實施方案 這才能保證績效評價的成功實施 因此 績效評價的設計要基于 評價任務大綱 并主要滿足評價任務大綱的要求 績效評價設計的主要產出就 是績效評價框架和 績效評價實施方案 績效評價設計流程見圖 5 1 在績效 評價設計的每個步驟中 評價小組都要與管理部門進行溝通 圖 5 1 績效評價設計流程 前期準備開發(fā)績效評價框架完成評價實施方案 熟悉項目文件 與管理部門溝通 理解評價任務大綱 內容 完成項目基礎信息 表 開發(fā)評價指標 選擇證據收集方法 形成績效評價框架 評價任務分解 評價小組分工 實施時間安排 設計面訪 座談會 實地調研問題清單 調查問卷等 形成評價實施方案 5 15 1 前期準備前期準備 前期準備包括盡量收集并熟悉現(xiàn)有的項目文件 與管理部門 或委托方 進行溝通 了解他們的意圖并理解評價任務大綱的內容 前期準備要查閱的項 目文件包括項目立項文件 項目實施計劃 項目進展報告 項目中期檢查報告 項目完工報告 項目工作總結等 前期準備要形成績效評價過程文件之一 項 目基礎信息表 見表 5 1 17 表 5 1 項目基礎信息表 一 項目概況 項目名稱 項目類型根據項目預算管理辦法對項目的分類填寫 投資金額 其中 中央財政 省級財政 地方配套 金額以人民幣為單位 實施周期按項目完工報告中實施周期填寫 實施地點按 XX 省 XX 市 XX 縣的格式填寫 項目發(fā)展目標按項目立項文件中的目標填寫 若項目目標經過調整 且經過財政部門同意 還應填寫調整后的目標 項目組成按項目立項文件中的項目組成簡要填寫 項目實施單位 二 項目背景 重點從以下幾方面描述項目的背景 但不限于這幾點 注意提取關鍵數據和事實 項目的提出針對國家社會經濟發(fā)展的哪些特定需求 例如 與相關戰(zhàn)略 政策或其 他重大項目的關系等 項目的提出針對所在行業(yè)的哪些關鍵問題 例如 解決空白問題 瓶頸問題 還是 在現(xiàn)有條件下改進提高 確定項目的具體內容以及選擇項目實施地點的理由 或有哪些考慮 例如 該地區(qū) 最 貧困 或具備實施條件 或估計影響較大等 三 項目目標和活動內容 分別簡述每一個項目組成部分的目標 投入 產出和實施地點 5 25 2 開發(fā)績效評價框架開發(fā)績效評價框架 績效評價框架是開展績效評價的核心 績效評價框架包括評價準則 關鍵 評價問題 評價指標 證據 證據來源 證據收集方法等 見表 5 2 18 表 5 2 績效評價框架結構 評價準則關鍵評價問題評價指標證據證據來源證據收集方法 相關性 效率 效果 可持續(xù)性 績效評價框架中的術語解釋如下 評價準則 即第 2 章第 2 3 節(jié)提到的相關性 效率 效果和可持續(xù)性 4 個評價準則 關鍵評價問題 用來將績效評價聚焦于若干有限的關鍵方面 進而分 析和評判準則的工具 一個評價準則下可以有多個關鍵問題 評價指標 定量或定性的因素或變量 是用來衡量成果 反映變化的 手段 這里 評價指標是用來回答關鍵問題的一種工具 一個關鍵問 題下可能有多個評價指標 證據 用來對評價指標進行評判的各種信息 包括項目數據 事實 利益相關者觀點等 證據來源 說明證據的出處 以便評價人員能夠收集到所要的證據 證據收集方法 績效評價中用于收集各種證據的手段 如案卷研究 實地調研 面訪 問卷調查等 本 指南 的宗旨是既要為評價人員提供操作性的指導 又要發(fā)揮評價人 員的積極性和專業(yè)技能 根據不同項目特點開發(fā)合適的評價框架 基于這種考 慮 指南 根據 4 個評價準則設計出 12 個關鍵評價問題 這 12 個關鍵評價問 題是每個項目績效評價的共性問題 而評價指標留待評價人員根據不同項目具 體開發(fā) 這樣 統(tǒng)一的關鍵評價問題保證了不同評價都涉及了共同的關鍵績效 內容 而個性的評價指標則體現(xiàn)了不同項目的特點 如果管理部門還提出了其他的關鍵評價問題 評價小組可以根據問題的性 19 質歸入評價準則當中 如果不能歸入 可以放在評價報告第 4 章需要說明的事 項中進行說明 以下按照圖 5 2 的流程一步一步介紹如何開發(fā)績效評價框架 圖 5 2 設計階段績效評價框架開發(fā)流程 理解關鍵 評價問題 前期 準備 設計評 價指標 明確證據 及來源 選擇證據 收集方法 5 2 1 關鍵評價問題 本 指南 針對每個評價準則共設計出 12 個關鍵評價問題 具體如下 相關性相關性 相關性包括 2 個關鍵評價問題 問題 1 1 在評價之時 項目是否符合政府的發(fā)展規(guī)劃 優(yōu)先發(fā)展重點 問題 1 2 項目是否針對某一實際問題和需求 問題 1 1 是評價項目的政策相關性 即項目與當前國家 行業(yè)發(fā)展戰(zhàn) 略 優(yōu)先重點的相符程度 問題 1 2 是評價項目與面臨的問題和需求的相關性 它考察兩方面內 容 首先 在設計之時項目活動是否針對當時的實際問題 比如某農業(yè)發(fā) 展項目 當時當地農業(yè)發(fā)展面臨的主要問題是農業(yè)用水嚴重缺乏 水源性 缺水 需要引水灌溉 那么要評價這個項目設計的活動 比如建設水渠和 水庫 是否針對了上述問題 其次 在進行績效評價之時 項目完工后提 供的產出是否能夠滿足當前的需求 仍然以上述項目為例 如果當地農業(yè) 灌溉問題已經由水源性缺水變成水質性缺水 即引過來的水嚴重污染而無 法用于灌溉 那么項目建設的水渠和水庫仍然無法滿足當地農業(yè)用水需求 這說明項目與當前當地的問題相關性不強 效率效率 效率包括 4 個關鍵評價問題 問題 2 1 項目是否按照計劃的資金預算實施 問題 2 2 項目是否按照計劃的時間周期實施并完工 問題 2 3 項目是否實現(xiàn)了所有的預期產出 問題 2 4 項目完工后是否達到預期的經濟內部收益率 20 問題 2 1 是評價項目的資金使用情況 它考察項目資金是否按照預算 使用 使用是否節(jié)約 對于完工項目 實際投入以項目完工報告中的為準 對于正在實施的項目 實際投入以項目年度進展報告中的為準 問題 2 2 是評價項目實施的時間效率 它考察兩方面內容 一是項目 是否按預期的開工時間開工 二是項目是否在計劃的時間周期內完工 項 目的預計開工時間和預計實施周期以項目評估文件 設計文件或項目實施計 劃中的時間為準 實際時間以項目完工報告中的為準 問題 2 3 評價項目產出的實現(xiàn)情況 一般項目會分成若干個組成部分 每個組成部分包括一些具體活動 通過實施這些活動 才能保證項目實現(xiàn) 預期產出 如產品 服務 設施等 而通過產出的使用 實現(xiàn)預期目標 這里要評價項目是否按質按量實現(xiàn)了所有預期產出 問題 2 4 考察項目的經濟內部收益率 該問題并非對所有項目都適用 如果項目評估文件或項目完工報告中寫明經濟內部收益率對該項目不適用 那么績效評價就不對其進行評價 效果效果 效果包括 2 個關鍵評價問題 問題 3 1 項目是否實現(xiàn)了預期目標 問題 3 2 項目的實際受益者是否是項目的目標受益群體 問題 3 1 是評價效果最核心的內容 如果項目目標經過修改并且獲得財政 部門的批準 則應采用修改后的目標 問題 3 2 是評價項目瞄準度問題 只有項目的實際受益群體是項目計劃的 目標受益群體 項目的效果才能充分體現(xiàn)出來 也才能說項目實施是成功的 可持續(xù)性可持續(xù)性 可持續(xù)性包括 4 個關鍵評價問題 問題 4 1 項目的管理和 或運行機構的設置 人力資源 技術能否滿足項 目持續(xù)運行的需要 問題 4 2 項目的產出能否得到持續(xù)地提供 維護和利用 問題 4 3 項目運行所依賴的政策 制度能否得到持續(xù)地實施 問題 4 4 項目財務是否可持續(xù) 21 問題 4 1 考察的是項目完工后 項目的管理機構和 或運行機構能否保證項 目的持續(xù)運行 問題 4 2 中的產出是指通過項目實施獲得的基礎設施 設備 教室 醫(yī)院 等實物產出 以及培訓 服務 技術支持等軟產出 這個問題考察的是項目產 出能否持續(xù)地提供 維護和利用 以保障項目持續(xù)發(fā)揮作用 問題 4 3 是考察制度或政策對項目持續(xù)性的保障程度 比如用水制度對水 資源保護和利用項目十分重要 如果用水制度沒有得到持續(xù)地執(zhí)行 那么項目 的效果也就無法持續(xù) 問題 4 4 是考察項目投入運行后的收支情況或經費保障情況 上述 12 個關鍵評價問題是針對一個完工項目而設計的 而對于正在實施的 項目有些問題不適用 當然 對正在實施項目的評價 評價小組也可以對其中 一些問題進行預測性回答 并說明預測的理由 以提醒管理者注意 采取必要 措施保證項目的成功實施 表 5 3列出了所有關鍵評價問題 并說明其適用的項目類型 表 5 3 關鍵評價問題的適用性 適用的項目 關鍵評價問題完工 項目 正在實 施項目 相關性 1 1 在評價之時 項目是否符合政府的發(fā)展規(guī)劃 優(yōu)先發(fā)展重點 1 2 項目是否針對某一實際問題和需求 效率 2 1 項目是否按照計劃的資金預算實施 2 2 項目是否按照計劃的時間周期實施并完工 2 3 項目是否實現(xiàn)了所有的預期產出 2 4 項目完工后是否達到預期的經濟內部收益率 效果 3 1 項目是否實現(xiàn)了預期目標 3 2 項目的實際受益者是否項目的目標受益群體 可持續(xù)性 4 1 項目的管理和 或運行機構的設置 人力資源 技術能否滿足項目 持續(xù)運行的需要 4 2 項目的產出能否得到持續(xù)地提供 維護和利用 4 3 項目運行所依賴的政策 制度能否得到持續(xù)地實施 4 4 項目財務是否可持續(xù) 注 帶 的問題對完工項目和正在實施的項目都適合 帶 的問題表示對于正在實施的項目可以 通過現(xiàn)有的事實和利益相關者的觀點進行預測評價 帶 的問題表示如果項目設計之時對經濟內部收 22 益率沒有計算 則對該項目不適用 5 2 2 開發(fā)評價指標 評價指標是針對關鍵評價問題而開發(fā)的 評價指標是回答關鍵評價問題的 工具 二者的關系如下 1 有的關鍵評價問題包含了多項評價內容 需要用 不同的指標加以區(qū)分 所以有的關鍵評價問題會包含若干個評價指標 2 通 過指標收集回答關鍵評價問題的相關證據 避免收集過多的無關證據 3 通 過指標可以體現(xiàn)具體項目的特點 4 通過指標能夠直觀地對關鍵評價問題進 行分析 從而得出關鍵評價問題的評價結果 評價指標的開發(fā)至關重要 它影響到其后證據及其來源的確定 證據收集 方法的選擇和評價分析等活動 專欄 5 1 列出了評價指標開發(fā)要遵循的原則 如果評價指標沒有滿足這些原則 將會影響到績效評價的質量 進而評價結果 的應用也將大打折扣 專欄 5 1 開發(fā)評價指標的原則 開發(fā)評價指標的 SMART 原則 具體的 Specific 指標定義清晰 不產生歧義 可衡量的 Measurable 有確定的評價基準對其進行衡量和分析 可實現(xiàn)的 Achievable 在現(xiàn)實條件下可以收集到相關證據 相關的 Relevant 指標與對應的關鍵評價問題要相關 能夠為管理提供有用的信息 時限的 Time bound 具有確定的時間范圍 下面以遼寧城市交通項目 見專欄 5 2 為例介紹評價指標的開發(fā) 3 專欄 5 2 遼寧城市交通項目簡介 遼寧城市交通項目的發(fā)展目標是提高城市交通系統(tǒng)的生產力 促進遼寧省沈陽市 撫 順市和鞍山市的經濟和社會發(fā)展 具體目標包括 1 通過擴展高等級道路設施 改善次 干道和鐵路交叉口 打通斷頭路和道路拓寬 來改善道路基礎設施瓶頸路段 2 通過建 設公交走廊和乘客設施 引進先進公交維護設備 提高公交服務的效率和效果 3 通過 開發(fā)先進的 可持續(xù)的路面管理系統(tǒng) 改進道路維修養(yǎng)護的投資狀況 4 通過制定機動 車尾氣排放控制策略 MVECS 持續(xù)改善項目的投資環(huán)境 5 通過交通示范項目的渠 3 在本征求意見稿中使用的案例 將隨著研究和試點評價的深入開展而進行完善 考慮到 指南 的權威 性和指導性 最終的 指南 可能會對案例進行修改 甚至采用新的更加完善和適合的案例 此處僅僅為 開發(fā)評價指標提供示例 23 化 修建非機動車設施 設置信號和其他交通管理措施 改善道路系統(tǒng)的運營效率和安全 性 6 通過考察 技術援助和有針對性的培訓 加強城市交通系統(tǒng)管理能力 項目從 1999 年 12 月 28 日開始生效 于 2005 年 12 月 31 日結束 項目總投入 33795 萬美元 其中世行實際貸款金額 14760 萬美元 項目包括 4 個分項目 component 沈陽 分項目 撫順分項目 鞍山分項目和技術援助 TA 分項目 沈陽 撫順 鞍山分項目都 包含公共交通 交通管理 道路基礎設計和道路養(yǎng)護 4 個分子項目 subcomponent 具體 資金使用如下表所示 項目實際使用經費統(tǒng)計表 單位 百萬美元 分項沈陽鞍山撫順小計 公共交通2 318 001 9812 29 交通管理18 035 515 9729 51 道路基礎設施33 2197 9264 12195 25 道路維修養(yǎng)護49 6324 0621 7295 41 技術援助1 571 171 253 99 先征費0 650 450 401 50 合計105 40137 1195 44337 95 注 截止到 2005 年 12 月的項目經費實際使用情況 數據來源 項目完工報告 相關性相關性 開發(fā)相關性的評價指標之前 要檢查項目目標是否經過修改 修改后的目 標是否得到批準 如果項目目標經過修改且獲得批準 那么應以修改后的項目 目標來開發(fā)評價指標 表 5 4 相關性評價指標開發(fā) 以遼寧城市交通項目為例 準則關鍵評價問題評價指標 1 1 在評價之時 項目是否符合政府發(fā)展 政策或優(yōu)先發(fā)展重點 項目與當前城市交通發(fā)展政策的相符程度 項目與當時項目市城市交通發(fā)展問題的針 對程度 相關性 1 2 項目是否針對當地的實際問題和需求 項目對當前項目市城市交通發(fā)展需求的滿 足程度 效率效率 針對效率的 4 個關鍵評價問題 評價小組首先要明確項目的計劃和實際的 實施周期 項目的資金預算及使用情況 項目預期要開展的和實際開展的活動 24 項目的預期和實際產出 項目是否測算其經濟內部收益率 如有預期值是多少 然后基于這些內容開發(fā)評價指標 對于問題 2 3 要盡量使用項目評估文件或設計文件中的產出目標 如果評 價小組認為項目設計的產出目標存在重大缺陷 無法對產出進行客觀地衡量 可以設計新的產出目標 但要與管理部門 項目單位協(xié)商 并考慮證據收集的 難度和成本 同時 要在評價報告第 4 章需要說明的事項中加以說明 表 5 5 效率評價指標開發(fā) 以遼寧城市交通項目為例 準則關鍵評價問題評價指標 2 1 項目是否按照計劃的資金預算實施 項目資金使用與預算的一致性 2 2 項目是否按照計劃的時間周期實施并 完工 項目預期和實際的實施周期相符程度 項目公共交通部分產出的實現(xiàn)程度 項目交通管理部分產出的實現(xiàn)程度 項目道路基礎設施部分產出的實現(xiàn)程度 項目道路維修養(yǎng)護部分產出的實現(xiàn)程度 2 3 項目是否實現(xiàn)了所有的預期產出 項目技術援助部分產出的實現(xiàn)程度 效率 2 4 項目完工后是否達到預期的經濟內部 收益率 項目經濟內部收益率 EIRR 的實現(xiàn)程 度 注 該項目包括公共交通 交通管理 道路基礎設施 道路維修養(yǎng)護和技術援助 5 項活動 因此 針對這 5 方面內容設置產出指標 效果效果 開發(fā)效果評價指標之前 要明確項目目標和目標受益群體是誰 對于問題 3 1 要盡量使用項目評估文件或項目設計文件中的效果目標 如果評價小組認為 項目設計的效果目標存在重大缺陷 無法對目標實現(xiàn)程度進行客觀地衡量 可 以設計新的效果目標 但要與管理部門 項目單位協(xié)商 并考慮證據收集的難 度和成本 同時 要在評價報告第 4 章需要說明的事項中加以說明 本項目效果目標分為若干個具體目標 Specific Objectives 并且每個具體 目標都設有評價指標 那么可以將問題 3 1 按具體目標分解成若干個子問題 然后根據子問題設計效果評價指標 25 表 5 6 效果評價指標開發(fā) 以遼寧城市交通項目為例 準則關鍵評價問題評價指標 3 1 1 項目是否實現(xiàn) 減少基礎設施瓶頸 路段的目標 交通走廊出行時間 路面狀況 維修養(yǎng)護預算 3 1 2 項目是否實現(xiàn) 改進道路維修養(yǎng)護 投資狀況的目標 維修養(yǎng)護平均費用 大氣質量標準 機動車尾氣排放控制戰(zhàn)略的制定 3 1 3 項目是否實現(xiàn) 持續(xù)改善項目的投 資環(huán)境的目標 機動車尾氣排放控制戰(zhàn)略的采用和實施 對通過交通屏蔽線的各種交通模式的交通流量 出 行時間和占有率進行調查以衡量系統(tǒng)的運營能力 3 1 4 項目是否實現(xiàn) 提高道路系統(tǒng)的運 營效率和運營安全 的目標 與行人和自行車有關的事故總數 總死亡人數及百 分比 年度補貼 年均單位里程的運營費用 每年客運量 可運營的公交數量 3 1 5 項目是否實現(xiàn) 提高公交服務的效 率和效果的目標 營運線路數量 3 1 項目是否 實現(xiàn)了預期目 標 3 1 6 項目是否實現(xiàn) 加強城市交通系統(tǒng) 管理能力的目標 當地能力的加強和決策的改善 效果 3 2 項目的實際受益群體是否是項目 的目標受益群體 目標受益群體覆蓋率 可持續(xù)性 對于問題 4 1 評價小組要明確項目完工后的管理機構和 或運行機構有哪 些 它們的機構設置是否合理 人力資源是否充足 是否具備必需的管理和技 術能力等 對于問題 4 2 評價小組要分析項目的哪些產出對項目持續(xù)發(fā)揮成效 26 是關鍵的 比如對于高速公路項目 高速公路的維護和利用是保證項目發(fā)揮效 益的關鍵 對于扶貧項目 對貧困人口進行持續(xù)地生產和勞動技能培訓是項目 實現(xiàn)扶貧效果的關鍵 對于問題 4 3 評價小組要明確項目制定的政策以及國家 行業(yè)和當地相關的政策有哪些 這些政策對項目持續(xù)運行發(fā)揮什么作用 如果 沒有這些政策 項目能否持續(xù)下去 對于問題 4 4 評價小組要考慮機構獲得的 經費等能否滿足項目運行的各項成本支出 表 5 7介紹可持續(xù)性的關鍵評價問 題的指標開發(fā) 表 5 7 可持續(xù)性評價指標開發(fā) 以遼寧城市交通項目為例 準則關鍵評價問題評價指標 項目市市政道路養(yǎng)護處的人力資源和技 術對道路持續(xù)養(yǎng)護的滿足程度 4 1 項目的管理和 或運行機構的設置 人 力資源 技術能否滿足項目持續(xù)運行的 需要 項目市交管部門的人力資源和管理對持 續(xù)開展交通管理的滿足程度 道路基礎設施的持續(xù)利用程度 道路基礎設施維護的持續(xù)性 4 2 項目的產出能否得到持續(xù)地提供 維 護和利用 交通管理的持續(xù)性 4 3 項目運行所依賴的政策 制度能否得 到持續(xù)地實施 項目所依賴的優(yōu)先發(fā)展公共交通政策的 持續(xù)性 可持續(xù) 性 4 4 項目財務是否可持續(xù) 項目收支情況 5 2 3 證據及其來源 證據是用來測量評價指標 回答關鍵問題 支持評價結論等的數據 事實 和觀點 在開發(fā)評價指標時就要考慮證據及其來源 評價小組要盡量收集高質 量的證據 高質量的證據具備以下特點 相關性 所收集的證據要與指標相關 并且是最重要的信息 比如要 測量貧困地區(qū)適齡女童的小學入學情況 那么就要收集女童而 不是男童的入學率數據 有效性 所收集的證據要能真實反映指標內容 比如要測量某個省的 貧困地區(qū)適齡女童的小學入學情況 那么要收集全省的適齡女 童入學率數據 而不是縣級的數據 27 可靠性 測量相同指標的證據可以通過相同方法進行收集并驗證 比 如適齡女童入學率數據每年都可以通過 某地區(qū)適齡女童入學 人數 某地區(qū)適齡女童人數 100 來獲得 準確性 所收集的證據要準確 特別是對于收集的利益相關者觀點要 注意其代表性 比如對于 社區(qū)環(huán)境是否改善 這一問題 有 8 名居民認為環(huán)境得到改善 而只有 2 名居民認為環(huán)境沒有改 善 那么要采用 8 名居民的觀點 績效評價證據來源主要有以下 3 類 見專欄 5 3 專欄 5 3 績效評價證據來源 第一類 制度 政策和法規(guī) 國家相關法律 法規(guī) 規(guī)章 國家發(fā)展規(guī)劃和相關部門行業(yè)發(fā)展規(guī)劃及政策 地方政府制定的發(fā)展規(guī)劃和政策 貸款方的有關制度規(guī)定 第二類 項目文件和相關報告 項目文件和報告 主要包括 立項評估報告 項目進展報告 完工報告等 國家發(fā)展改革部門的項目立項批復報告 項目單位的項目執(zhí)行文件和報告 主要包括 項目可行性研究報告 環(huán)境影響評價報告 項目執(zhí)行過程中的有關財務會計資料 工作總結 監(jiān)測報告 項目進度報告 項目竣工 驗收報告等 財政 審計部門對項目執(zhí)行情況的專項檢查報告 專項審計報告 研究機構或咨詢機構提供的與項目相關的研究資料 分析報告和咨詢報告等 第三類 評價小組直接收集 相關利益者座談會 對相關人員的面訪 實地調研 問卷調查 評價小組采用其他方法收集的數據 5 2 4 證據收集方法 證據收集方法是用以收集所需證據的方法和技術 證據收集方法有很多種 如案卷研究 面訪 座談會 問卷調查 實地調研 案例研究等 大多數績效 評價都可能使用其中一種或多種 表 5 8 列出了不同證據收集方法的優(yōu)點和缺 點 評價人員可以根據現(xiàn)實情況選擇