標(biāo)準(zhǔn)解讀

《T/31SCTA 003-2017 工業(yè)大數(shù)據(jù)平臺(tái)技術(shù)規(guī)范 數(shù)據(jù)處理》這一標(biāo)準(zhǔn)主要針對(duì)工業(yè)領(lǐng)域中大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理過(guò)程提出了具體的技術(shù)要求與指導(dǎo)。該標(biāo)準(zhǔn)覆蓋了從數(shù)據(jù)采集到最終應(yīng)用的整個(gè)流程，旨在確保工業(yè)大數(shù)據(jù)平臺(tái)能夠高效、準(zhǔn)確地處理海量數(shù)據(jù)，為決策提供支持。

在數(shù)據(jù)采集方面，標(biāo)準(zhǔn)強(qiáng)調(diào)了需要采用合適的方法和技術(shù)來(lái)獲取原始數(shù)據(jù)，包括但不限于傳感器直接讀取、系統(tǒng)日志記錄等方式，并且對(duì)數(shù)據(jù)的質(zhì)量和完整性有明確的要求。這一步驟對(duì)于后續(xù)的數(shù)據(jù)清洗、存儲(chǔ)以及分析至關(guān)重要。

關(guān)于數(shù)據(jù)預(yù)處理階段，文件詳細(xì)描述了如何通過(guò)去噪、填充缺失值等手段提高數(shù)據(jù)質(zhì)量；同時(shí)，也提到了特征選擇與轉(zhuǎn)換的重要性，以確保所選數(shù)據(jù)集能夠更好地服務(wù)于特定的應(yīng)用場(chǎng)景或分析目標(biāo)。

在數(shù)據(jù)存儲(chǔ)部分，《T/31SCTA 003-2017》建議使用分布式文件系統(tǒng)或數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)大規(guī)模數(shù)據(jù)集，保證高可用性和擴(kuò)展性。此外，還討論了不同類型的存儲(chǔ)解決方案（如關(guān)系型數(shù)據(jù)庫(kù)、NoSQL數(shù)據(jù)庫(kù)）及其適用場(chǎng)景。

數(shù)據(jù)分析章節(jié)則介紹了多種可用于挖掘工業(yè)大數(shù)據(jù)價(jià)值的技術(shù)方法，包括統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)算法等。通過(guò)這些工具，可以從復(fù)雜的數(shù)據(jù)集中提取有用的信息和模式，幫助企業(yè)優(yōu)化生產(chǎn)流程、預(yù)測(cè)設(shè)備故障等問(wèn)題。

最后，在數(shù)據(jù)可視化及報(bào)告生成方面，標(biāo)準(zhǔn)鼓勵(lì)利用圖表、儀表盤(pán)等形式直觀展示分析結(jié)果，便于非技術(shù)人員理解并據(jù)此做出快速響應(yīng)。同時(shí)也強(qiáng)調(diào)了安全性和隱私保護(hù)在整個(gè)數(shù)據(jù)處理鏈條中的重要地位，要求采取適當(dāng)措施防止敏感信息泄露。


如需獲取更多詳盡信息，請(qǐng)直接參考下方經(jīng)官方授權(quán)發(fā)布的權(quán)威標(biāo)準(zhǔn)文檔。

....

查看全部

  • 現(xiàn)行
  • 正在執(zhí)行有效
  • 2017-11-29 頒布
  • 2018-01-15 實(shí)施
?正版授權(quán)
T/31SCTA 003-2017工業(yè)大數(shù)據(jù)平臺(tái)技術(shù)規(guī)范數(shù)據(jù)處理_第1頁(yè)
T/31SCTA 003-2017工業(yè)大數(shù)據(jù)平臺(tái)技術(shù)規(guī)范數(shù)據(jù)處理_第2頁(yè)
T/31SCTA 003-2017工業(yè)大數(shù)據(jù)平臺(tái)技術(shù)規(guī)范數(shù)據(jù)處理_第3頁(yè)
T/31SCTA 003-2017工業(yè)大數(shù)據(jù)平臺(tái)技術(shù)規(guī)范數(shù)據(jù)處理_第4頁(yè)
T/31SCTA 003-2017工業(yè)大數(shù)據(jù)平臺(tái)技術(shù)規(guī)范數(shù)據(jù)處理_第5頁(yè)
免費(fèi)預(yù)覽已結(jié)束，剩余23頁(yè)可下載查看

下載本文檔

T/31SCTA 003-2017工業(yè)大數(shù)據(jù)平臺(tái)技術(shù)規(guī)范數(shù)據(jù)處理-免費(fèi)下載試讀頁(yè)

文檔簡(jiǎn)介

ICS8314099

G40..

登記號(hào)T/31357310115F0972018

:

團(tuán)體標(biāo)準(zhǔn)

T/31SCTA003—2017

工業(yè)大數(shù)據(jù)平臺(tái)技術(shù)規(guī)范

數(shù)據(jù)處理

Technicalspecificationforindustrialbigdataplatform—

Dataprocessing

2017-11-29發(fā)布2018-01-15實(shí)施

上海市計(jì)算機(jī)行業(yè)協(xié)會(huì)發(fā)布

T/31SCTA003—2017

目次

前言

…………………………Ⅲ

范圍

1………………………1

規(guī)范性引用文件

2…………………………1

術(shù)語(yǔ)和定義

3………………1

縮略語(yǔ)

4……………………1

數(shù)據(jù)處理要求

5……………1

綜述

5.1…………………1

流式計(jì)算要求

5.2………………………2

一般要求

5.2.1………………………2

功能要求

5.2.2………………………2

分布式離線分析要求

5.3………………2

一般要求

5.3.1………………………2

功能要求

5.3.2………………………2

分布式在線分析要求

5.4………………3

一般要求

5.4.1………………………3

功能要求

5.4.2………………………3

表達(dá)式計(jì)算要求

5.5……………………4

一般要求

5.5.1………………………4

功能要求

5.5.2………………………4

附錄資料性附錄機(jī)器學(xué)習(xí)

A()…………5

概況

A.1…………………5

學(xué)習(xí)形式分類

A.2………………………5

綜合分類

A.3……………6

按應(yīng)用領(lǐng)域分類

A.4……………………7

基于所獲取知識(shí)的表示形式分類

A.5…………………7

基于學(xué)習(xí)策略的分類

A.6………………8

附錄資料性附錄流式計(jì)算框架對(duì)比分析

B()…………10

概述

B.1…………………10

運(yùn)行時(shí)和編程模型

B.2…………………10

主流開(kāi)源流處理系統(tǒng)

B.3………………11

狀態(tài)管理

B.4……………12

小結(jié)

B.5…………………13

附錄資料性附錄基本架構(gòu)與原理分析

C()Spark……………………14

概述

C.1…………………14

架構(gòu)及生態(tài)

C.2…………………………14

與

C.3SparkHadoop…………………15

Ⅰ

T/31SCTA003—2017

常用術(shù)語(yǔ)

C.4……………15

運(yùn)行模式

C.5Spark……………………16

模式

C.6SparkCluster………………17

運(yùn)行流程

C.7RDD……………………18

參考文獻(xiàn)

……………………20

Ⅱ

T/31SCTA003—2017

前言

本標(biāo)準(zhǔn)按照給出的規(guī)則起草

GB/T1.1—2009。

請(qǐng)注意本文件的某些內(nèi)容可能涉及專利本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別這些專利的責(zé)任

。。

本標(biāo)準(zhǔn)由上海市計(jì)算機(jī)行業(yè)協(xié)會(huì)提出并歸口

。

本標(biāo)準(zhǔn)起草單位上海寶信軟件股份有限公司上海寶景信息技術(shù)發(fā)展有限公司上海電子信息產(chǎn)

:、、

品再利用促進(jìn)中心上海慶科信息技術(shù)有限公司上海金自天正信息技術(shù)有限公司上海地鐵電子科技

、、、

有限公司上海理想信息產(chǎn)業(yè)集團(tuán)有限公司上海歐冶數(shù)據(jù)技術(shù)有限責(zé)任公司上海市標(biāo)準(zhǔn)化協(xié)會(huì)上

、()、、、

海寶能信息科技有限公司上海浦東軟件平臺(tái)有限公司中國(guó)電子科技集團(tuán)公司第三十二研究所上海

、、、

思普信息技術(shù)有限公司上海產(chǎn)業(yè)技術(shù)研究院上海可魯系統(tǒng)軟件有限公司上海市計(jì)算機(jī)行業(yè)協(xié)會(huì)上

、、、、

海頂逸信息科技有限公司

。

本標(biāo)準(zhǔn)主要起草人滕逸龍宋健海董文生吳德中沈春鋒邵衛(wèi)軍王永虹林苑李鎮(zhèn)寧

:、、、、、、、、、

吳毅平孫建淮王會(huì)芝王克勤沈建華范昀羅渝平嚴(yán)祖丹李茂華許六一馮為民沈華紅

、、、、、、、、、、、、

李家宏裘維東孫偉國(guó)黃鈺梅謝彬吳俊偉劉濤郭燁周曉婷葉天琦劉麗覃宏昆吳疆謝玉彬

、、、、、、、、、、、、、、

朱彭生鐘寅超

、。

Ⅲ

T/31SCTA003—2017

工業(yè)大數(shù)據(jù)平臺(tái)技術(shù)規(guī)范

數(shù)據(jù)處理

1范圍

本標(biāo)準(zhǔn)規(guī)定了工業(yè)大數(shù)據(jù)中數(shù)據(jù)處理的術(shù)語(yǔ)和定義數(shù)據(jù)處理的流式計(jì)算分布式離線分析分布

、、、

式在線分析表達(dá)式計(jì)算的要求等

、。

本標(biāo)準(zhǔn)適用于工業(yè)大數(shù)據(jù)平臺(tái)的設(shè)計(jì)開(kāi)發(fā)選型和實(shí)施可作為企業(yè)選擇或評(píng)價(jià)工業(yè)大數(shù)據(jù)平臺(tái)

、、,

時(shí)的評(píng)測(cè)依據(jù)

。

本標(biāo)準(zhǔn)的使用者包括獨(dú)立軟件測(cè)試機(jī)構(gòu)工業(yè)大數(shù)據(jù)平臺(tái)相關(guān)的軟件產(chǎn)品開(kāi)發(fā)組織實(shí)施及咨詢服

、、

務(wù)機(jī)構(gòu)等與工業(yè)大數(shù)據(jù)平臺(tái)開(kāi)發(fā)有關(guān)的其他領(lǐng)域亦可參照使用

。。

2規(guī)范性引用文件

下列文件對(duì)于本文件的應(yīng)用是必不可少的凡是注日期的引用文件僅注日期的版本適用于本文

。,

件凡是不注日期的引用文件其最新版本包括所有的修改單適用于本文件

。,()。

信息設(shè)備資源共享協(xié)同服務(wù)第部分基礎(chǔ)協(xié)議

SJ/T11310—20051:

工業(yè)大數(shù)據(jù)平臺(tái)技術(shù)規(guī)范

溫馨提示

  • 1. 本站所提供的標(biāo)準(zhǔn)文本僅供個(gè)人學(xué)習(xí)、研究之用，未經(jīng)授權(quán)，嚴(yán)禁復(fù)制、發(fā)行、匯編、翻譯或網(wǎng)絡(luò)傳播等，侵權(quán)必究。
  • 2. 本站所提供的標(biāo)準(zhǔn)均為PDF格式電子版文本（可閱讀打?。驍?shù)字商品的特殊性，一經(jīng)售出，不提供退換貨服務(wù)。
  • 3. 標(biāo)準(zhǔn)文檔要求電子版與印刷版保持一致，所以下載的文檔中可能包含空白頁(yè)，非文檔質(zhì)量問(wèn)題。

最新文檔

評(píng)論

0/150

提交評(píng)論