生產企業(yè)大數據平臺建設項目建議書v2

1、大數據平臺建設工程建議書目錄第一章、工程背景 3第二章、工程思路 4第三章、建設內容與方案 5第四章、時間進度 13第五章、工程預算 15第六章、企業(yè)效益及社會效益 15第七章、結論 15第一章、工程背景企業(yè)對信息化工作歷來較為重視，也是省內較早開始實施信息化的大型企業(yè)。 目前已經建成財務系統(tǒng)、生產調度系統(tǒng)、農務系統(tǒng)、供應鏈系統(tǒng)等：調度系統(tǒng)，2021年公司共投資了 175萬元，按集團分步建設、逐步投入的 規(guī)劃，完成了系統(tǒng)根本硬件與亞控平臺軟件的結合， 構建了一個以明陽糖廠生產 調度指揮中心為核心，生產信息能夠上至集團，下至車間的生產調度網絡系統(tǒng)。農務系統(tǒng)，2005年開始實施，經過屢次升級，現(xiàn)涵

2、蓋了方案、報蔗、派車、 質檢、過磅、結算、短信管理、移動應用等一系列模塊，覆蓋公司 4家直屬糖廠 和大橋制糖公司，實現(xiàn)了農務統(tǒng)一的信息化管理。供應鏈系統(tǒng)，利用用友NC供應鏈系統(tǒng)，以公司存貨管理為核心的采、供、 銷、存供應鏈管理平臺，實現(xiàn)物資、倉儲、供應、銷售、物流一體化業(yè)務協(xié)同處 理平臺，建立了公司對各直屬廠工作的監(jiān)督平臺， 總部可以實時對下屬各公司的 工作進行監(jiān)督，實時對各公司的具體業(yè)務執(zhí)行情況進行查看， 及時的對下屬公司 進行指導和監(jiān)督。盡管在兩化融合及企業(yè)信息化方面已取得了相當的成效，但在實際應用過程中仍然存在一些較為顯著的問題。一總部與下屬糖廠未實現(xiàn)完全的集約管理a企業(yè)在原先六家糖廠的

3、根底上，又收購了三博公司五家糖廠。三博五廠由上海遷回南寧，在宜州設立管理下屬五廠的二級管理總部。b從系統(tǒng)部署上分析，企業(yè)總部與原先六廠為一套架構，而三博總部與下 屬五廠為一套架構，各自獨立，暫未整合為一體。c為了保證各糖廠生產的穩(wěn)定，企業(yè)總部與下屬六廠之間僅在NC供應鏈、OA財務、人力等系統(tǒng)方面實現(xiàn)了集約管理，農務管理系統(tǒng)、生產調度 系統(tǒng)以及化驗系統(tǒng)均由各廠自建，因此出現(xiàn)各廠建設系統(tǒng)的廠家不同， 使用的系統(tǒng)版本不同等現(xiàn)象。三博總部與下屬五廠的關系亦如此。二總部及各廠之間的數據共享有限a由于大多數生產相關的系統(tǒng)均為各廠自建，因此不管是企業(yè)總部，或者 是三博總部在獲取各糖廠生產相關數據上均較為困難

4、。b企業(yè)總部通過制定報表模板、開發(fā)報表同步功能的方式，定期的獲取下 屬六家糖廠的生產相關報表，但這些報表的數據容量有限、數據呈現(xiàn)較 為固定，無法為總部經營決策提供實時、靈活的數據依據。C三博總部獲取下屬糖廠的數據方式更為有限，僅依靠各廠按照總部的業(yè) 務需求進行手工填寫，通過郵件、微信等方式提交數據報表，匯總到三 博總部。三各業(yè)務部門對未來的數據應用有著強烈的需求a當前業(yè)務條線對于未來大數據平臺建設的需求仍處于較為初步的設想階 段，但已具雛形：b進一步完善供產銷流程中系統(tǒng)數據采集能力，尤其是對于甘蔗種植面積 的測繪、甘蔗產量的估算等信息，因此對于 GIS地理信息系統(tǒng)的上線有 需求；c提高總部對于

5、各廠生產數據的獲取及共享能力，解決目前總部各部門、 總部與各廠、各廠與各廠之間數據不流通、共享困難的現(xiàn)狀；d提高內部各平臺數據對于生產經營的指導作用，充分利用各環(huán)節(jié)系統(tǒng)流 程數據匯總，產出經營決策建議、比照分析、趨勢統(tǒng)計、效益分析等數 據應用；e實時、動態(tài)、快速的掌握外部環(huán)境的動向，包括行業(yè)開展、原材料、供 給商、產品銷售、競爭對手等信息，以形成內外部數據的融合，為生產 經營決策提供數據支撐。第二章、工程思路為了解決內部各廠、各系統(tǒng)之間的數據共享問題，此次工程將依托現(xiàn)有的農 務管理平臺、NC供應鏈平臺、生產調度平臺、電子商務平臺、協(xié)同工作平臺0A 質量管理平臺等一系列業(yè)務相關系統(tǒng)， 通過制定一

6、定的標準，整合下屬各廠各系 統(tǒng)數據，打造統(tǒng)一的大數據平臺及智能決策分析平臺。 利用大數據分析技術，為 公司管理層、業(yè)務部門及各生產單位提供具有指導意義的數據分析結果，實現(xiàn)生產精準化、管理可視化。根據對內部信息化及系統(tǒng)部署情況的分析， 此次工程將按照由近及遠、由淺 入深的方式劃分為幾個階段：一對總部及下屬六廠各系統(tǒng)的數據進行整合、共享及分析，以企業(yè)六廠為 根底，搭建大數據平臺框架，在不對根底系統(tǒng)進行遷移整合的前提下， 對數 據進行整合并建立數據之間的關系。并制定一定的數據采集規(guī)那么，獲取三博 五廠的數據。二基于大數據平臺全面的數據共享能力，強化數據的表達深度，能夠對原 有匯總的報表數據進行更細粒

7、度的表達和展示；這里可能需要創(chuàng)立新的應用 效勞系統(tǒng)或者是擴充原有的效勞系統(tǒng)來完成。三完全整合三博所屬五廠系統(tǒng)及數據，消除企業(yè)內部的數據孤島。四面向外部進行數據擴充，例如利用網絡進行相關行業(yè)的數據抓取，并將數據整合到大數據平臺，結合既有的內部數據建立運營決策系統(tǒng)。第三章、建設內容與方案基于對整合三博五廠系統(tǒng)及數據難度的考慮， 本次工程以第一、第二階段作 為工程的主要內容。3.1、建立大數據平臺根底架構，整合現(xiàn)有生產及管理系統(tǒng)由合作方負責建設大數據平臺根底架構，整合現(xiàn)有的各個生產及管理系統(tǒng)， 將各系統(tǒng)的生產及管理數據進行集中統(tǒng)一管理、分析，對大數據平臺建設提供相 應的支撐。大數據平臺的總體架構及模

8、塊部署情況如下：、總體架構fieri4 rdf" 口mookeeperatifrir ?遜掘廉理圧、模塊劃分及部署根據大數據平臺建設的要求，大數據智能決策平臺大數據存儲、計算及分 析平臺主要由三大模塊組成：數據采集模塊、存儲計算模塊及訪問支撐模塊。?數據采集模塊：數據采集模塊提供支持多數據源提取、多通道傳輸、多 種方式聚合的數據采集工具及接口，包括 flume代理集群日志采集、Chukwa 實時數據采集、Python網絡數據爬取、Sqoop關系數據庫數據批量提取、HDFS 文件上傳下載FTP客戶端及多通道數據源整合實時分布式消息系統(tǒng)Kafka。?存儲計算模塊：存儲計算模塊實現(xiàn)了海量數

9、據存儲、批處理計算、實時計算、機器學習、圖計算、實時查詢及集群運行監(jiān)控等功能，包括 YARN分 布式資源管理系統(tǒng)、分布式文件系統(tǒng)HDFSSpark/MR批處理、Spark實時計 算、GraphX圖計算、MLLib機器學習、Hbase實時查詢、Hive等Sql計算引 擎、MySql關系型數據庫及Dr.Elephant等可視化集群監(jiān)控工具。?訪問支撐模塊：訪問支撐模塊提供了上層軟件易于使用和編程的大數據 平臺層接口及內存數據庫，包括圭寸裝了 SparkSql、Hive、Phoenix的sql查 詢接口，封裝了 MR Spark開發(fā)函數庫的API編程接口、工具及redis內存 數據庫。系統(tǒng)部署：根底

10、Hadoop大數據平臺效勞器集群由一臺主機Master、三臺從機Slaver152/153/154、組成。平臺采用分布式集群方式工作，提供N+1冗余模式。通過建設，提供存儲及數據效勞能力1存儲能力：初期建設完畢按照其物理硬件配置，平臺實現(xiàn)如下存儲能力 指標：?業(yè)務數據存儲：1TB業(yè)務數據? 實時數據存儲：8GB?實時數據查詢：2秒?業(yè)務數據查詢：10秒?存儲動態(tài)擴容能力：根據后期系統(tǒng)以及數據遷移的需要平臺具備動態(tài)擴 容能力，在先期物理設備所提供的容量不能滿足業(yè)務開展需要的請下進行動 態(tài)擴容。2業(yè)務數據支持：根據企業(yè)既有業(yè)務系統(tǒng)以及對應的實際行業(yè)和運營特征， 基于大數據平臺被劃分為三級數據存儲，

11、各級存儲的建設目標描述如下：平臺存儲運營管理數據生產支撐數據三級存儲Redis財務&供銷數據供銷&農務數據農務&生產數據生產&辦公數據二級存儲HBase財務數據供銷數據農務數據生產數據辦公數據一級存儲HDFSA. 一級存儲：平臺的原始業(yè)務數據存儲層，面向企業(yè)內部的原有各大業(yè)務系統(tǒng)，支持其將原有數據存儲完全遷移到大數據平臺，即提供數據融合能力外還 把原有系統(tǒng)的根底存儲支持作為平臺根底能力；也支持通過文件或者消息方式將 其局部的融合數據以非實時或準實時的周期上傳到大數據平臺，主要用于業(yè)務數據融合。B. 二級存儲：細化的融合層，主要面向現(xiàn)有業(yè)務之間的數據融合溝通，解

12、決現(xiàn)有業(yè)務系統(tǒng)之間數據互通問題；同時在該層對于根底業(yè)務數據進行整合以及 根底計算，產生新的業(yè)務數據并存儲，為更高層級的業(yè)務運維提供大數據支撐。 本層數據是對根底數據的第一級融合計算，主要面向業(yè)務。C. 三級存儲：基于二級存儲數據進行高層的決策分析計算，產生最終的運 營支撐和決策分析結果數據，該層次計算過程中將應用各種統(tǒng)計、 分析、學習算 法；同時也給予業(yè)務訪問特征，將二級存儲的熱點數據組織為熱表進行存儲， 對 外提供高速數據訪問接口。3.2、對目前生產及管理中涉及的數據進行采集并予以整合、內部數據整合完善現(xiàn)有農務管理平臺、NC供應鏈平臺、生產調度平臺、電子商務平臺等與企業(yè)供產銷業(yè)務流程相關的系

13、統(tǒng)采集數據功能， 統(tǒng)一集中管控的形式，將公司 管理范圍內的農戶、車輛及地塊信息、糖廠生產信息集中輸入到公司總部平臺中， 完成集中化采集及管理。1、 優(yōu)先針對農務系統(tǒng)以及生產系統(tǒng)進行數據整合共享，再次是NC系統(tǒng)；考 慮整合的主要目標是可分析業(yè)務數據，圖片圖表等文件類型數據不考慮在大數據 平臺上存儲；可以存儲在其它位置僅在大數據平臺上存儲其位置信息；2、在各分廠數據庫效勞器上部署數據采集代理，按照業(yè)務數據規(guī)那么要求最 高以準實時的要求同步數據到大數據平臺；或者首先以生產報表為周期在同步報 表數據的同時同步相關詳細數據記錄。將以上各平臺采集到的結構化及非結構化的數據以統(tǒng)一的數據規(guī)那么進行處 理，通過

14、圖形可視化的方式，對采集到的數據進行抽取、轉換、加工、整合，最 大程度的簡化數據并采用過程流式的組織方式進行數據集成應用開發(fā)。322、外部數據采集利用爬蟲技術，幫助企業(yè)把外部互聯(lián)網的各類相關數據資源轉變成企業(yè)的數據資產，并且與內部數據結合，結合的數據挖掘平臺和文本處理技術， 能夠從海 量的文本數據中智能地獲取深度的價值信息，最終形成行業(yè)的開展趨勢、競爭對 手情報、競品比照分析、以及各類數據提供效勞，如財報數據、宏觀經濟數據、 價格指數等。fcs=*a-.寫 ANoSQLfimU悴屯箱拒乂底臣盂軋迂rURLjWlJRI 姑jjjghonwxonvm雅蟲湃芝理1點7I1"?T.EJ分V&

15、#167;hrnnHL專廿=LK.廳 =.：啊1 購H kJ3.3利用采集的數據進行挖掘分析，輸出有價值的成果331、經營分析主要分析價值鏈，包括種植、加工、銷售三個階段，依據企業(yè)價值鏈模型展 開分析，如種植-加工生產采購、生產、質量-銷售物流倉庫管理、銷售管 理，縱向分析各職能對主價值鏈的支撐與協(xié)同。生產分析利用大數據處理和分析方法，挖掘工藝參數如處理甘蔗、初壓汁、末壓汁、 打包蔗渣等流程、優(yōu)化協(xié)同時間實際榨蔗時間、生產平安率、設備故障損失 時間、部門/公司協(xié)作流程時間優(yōu)化等、成品糖優(yōu)級白砂糖、一級白砂糖、一 級赤砂糖產量之間的流程工藝優(yōu)化、生產能耗分析混合蔗渣、濾泥、廢蜜、 輔助材料、燃料

16、及汽電消耗等、產能分析多維度分析，如糖產率，優(yōu)化生產 流程、降本增效、提高收益、實現(xiàn)利潤最大化是生產主題的核心內容。*曰-印汀隼；月腳日目<krm)Ag (lr)盒朗l蠱4汕1和鵲峠“比 5*“ c®.)科215S處kiiiimiafttt <PJEl疊底聞1 (SfctSttlTt >««4»JTIt £ (FnlJ打Ujj軒堆田(Filbrr)SUl苜疊曲削愜-.+ (Fri-i-fl)*sUM點椚)聲Htftf fa CEIhHdU-IC卡遜定H童CDwj P«»J軌山來雜傭i n«LH.U

17、mi千徨九肄it羋勿rptrzi令SUH畔# C LnrjKds)鈾勺5產甲巧耳k»H、bde>It194.td9出華需許平m <rwM>MJ1蘆11權錯訐CPfTWdlIt4J47.i(!T衛(wèi)比抽出車f和*1捫*師戶 tttK垂蟹材(C mpri-n-)t15414JMi比Itt£ t=rfW,?時冃iTr神鼻時冃Crufa lErIh14MKt.<p.>JUS空產吉寧寧< Ime BlfcniBryJ*L(MUM*4».iaTin生產瓷仝車平也EFfriodl9SKU與臣比 1 MJ'Cair )fl* 54if E

18、E 悅 4 RJif.«(Tib)15.11虛樣H愷I處何r西此n血八*9U.IS汽電晝番耳軽K i541r«4Ll；lSiFItMlim CPmJ*id,11商 1#與簡 It CH1F1H CmftJUJ&4«MTAMLLB耳WE*?tH»醞天址矍處竝用于tI74jjj>rr卅冊泮 FtER 沖in、neTM葉Twi豪怖B!車"7旺miwl«iM汁確廚底<F.E. J)町Ljrr5 him«43FJ1j.i j c.p1IJ5ElrCM盹仃曹H單甲<n*<Ti w>聲酬HP?蘆甲懈置

19、涉rw»*1R干實愛ZEfft彈tftIS"匝i9(Ira)in(0WJ冋刖(Wil眄ZVJiWMi叭NrilSnrrac*tr.gr HkiiirTarihill-WR»OfCr«bJ.wi)O14MU4IH«.L1HUMiBd*# <fi? t呂蜩口并誓<AAU1V1WMU Ul*J7* Wn)tT"2« «HMULT*1*«KMittEVNIMft.wn»ff <T»i> *-ivl.Ofl1|和.1卿IJIIUHBK«1UltthWIN<

20、+?yaiMVwn»ff <ci)<飢血tjm0*DQ.蟻II It 軸Mtw胃"fl嫩12. 14dtMLlH)«J'H-|W.5 1414±2JtiJ1J»T4J£I>>14：UJM>11J1llrfT11J9jwinfl斡時啣更*盯村業(yè)匚査比h«lnd/.«TJOi»cHl'kEa £J3J1809£c«KnFHfl邑(Q；a«c« HCtenj(*1(*)(*)p*>F*)(PW>隔IksJ

21、LF靜UF.KS.UfM1L*4«arT«r4飛:AN (ClEir>IfkMfTMms沖3TJLl»MJJ兇艇U2l»l蘭目n匡帯IU.*K；1 LEJ.IP9<FA linkZVtFB Zblni國.IFC Mu sIPCCA MdlA ia hCKuZftEU 1Auhft 陽Uj»ITSs-urms4U1擊1*5T辭75MStflS了»5*15T»JtWJ144g勺EIUD甲血應< vl *4«JJT 2*914954!銷售分析分別從天氣、氣候、成熟過程、運輸等對甘蔗成品的影響，以及成品糖

22、的整個生產過程如收割、榨汁等分析，實現(xiàn)降本增效，確保甘蔗的頂峰生長期間提升甘蔗的單位產量和品質，產糖率保持在穩(wěn)定向上水平，保持穩(wěn)定不變的甘蔗甜味比率。3.34行業(yè)分析1、行業(yè)開展動態(tài)跟蹤2、行業(yè)開展分析1糖業(yè)開展景氣指數：宏觀環(huán)境數據GDP增長率、工業(yè)增加值、人均收 入、人口信息、農業(yè)人口、糖業(yè)產值等、市場數據總體規(guī)模、市場份額、 競爭信息等、生產數據甘蔗種植面積、產量、產糖量、劣質比例、銷量、 價格、設備運行數據等、供應鏈數據競價信息、物資倉儲信息、供應銷 售信息、物流信息等，建立算法模型，輸出糖業(yè)開展景氣指數，動態(tài)顯示 糖業(yè)目前開展情況。2糖業(yè)開展分析：市場經濟環(huán)境分析、競爭環(huán)境分析、糖業(yè)環(huán)境開展、企 業(yè)內部開展分析等。第四章、時間進度1、建設期限如下：1系統(tǒng)硬件需求建議及配備：工程啟動后 30天內。22021年12月底完成股份大數據工程系統(tǒng)根底平臺搭建32021年6月底，完成內外部數據的采集及整合。42021年12月底，完成數據整合、決策分析模型、預測分析模型與算 法。5工程整體完工：2021年6月底。2、工作方案如下：階段任務方案時間交付地點需求調研工程啟動2021/6至 2021/7廣西區(qū)內指定地點范圍定義廣西區(qū)內指定地點工程規(guī)劃制定工程方案及實施解決方案2021/7至 2021/8廣西區(qū)內指定地點系統(tǒng)根底平臺搭建2021/8至 2021/12廣西區(qū)內指定