等考二級(jí)python-第6章-文件和數(shù)據(jù)格式化

1、全國(guó)計(jì)算機(jī)等級(jí)考試二級(jí)教程全國(guó)計(jì)算機(jī)等級(jí)考試二級(jí)教程Python語(yǔ)言語(yǔ)言程序設(shè)計(jì)程序設(shè)計(jì)(2018年版)【第第6章章】文件和數(shù)據(jù)格式化文件和數(shù)據(jù)格式化n 文件的使用: 文件打開(kāi)、關(guān)閉和讀寫(xiě)n 數(shù)據(jù)組織的維度：一維數(shù)據(jù)和二維數(shù)據(jù)n 一維數(shù)據(jù)的處理：表示、存儲(chǔ)和處理n 二維數(shù)據(jù)的處理：表示、存儲(chǔ)和處理n 采用CSV格式對(duì)一二維數(shù)據(jù)文件的讀寫(xiě)考綱考點(diǎn)知識(shí)導(dǎo)圖文件的使用n 文件是存儲(chǔ)在輔助存儲(chǔ)器上的一組數(shù)據(jù)序列，可以包含任何數(shù)據(jù)內(nèi)容。概念上，文件是數(shù)據(jù)的集合和抽象。文件包括兩種類(lèi)型：文本文件和二進(jìn)文本文件和二進(jìn)制文件制文件。文件n 文本文件一般由單一特定編碼的字符組成，如UTF-8編碼，內(nèi)容容易統(tǒng)一展

2、示和閱讀。n 二進(jìn)制文件直接由比特0和比特1組成，文件內(nèi)部數(shù)據(jù)的組織格式與文件用途有關(guān)。二進(jìn)制是信息按照非字符但特定格式形成的文件，例如，png格式的圖片文件、avi格式的視頻文件。文件的類(lèi)型n 二進(jìn)制文件和文本文件最主要的區(qū)別在于是否有統(tǒng)一的字符編碼。n 無(wú)論文件創(chuàng)建為文本文件或者二進(jìn)制文件，都可以用“文本文件方式”和“二進(jìn)制文件方式”打開(kāi)，但打開(kāi)后的操作不同。文件的類(lèi)型123f=open(a.txt,rt)#t表示文本文件方式表示文本文件方式print(f.readline()f.close()全國(guó)計(jì)算機(jī)等級(jí)考試n 文本文件a.txt，采用二進(jìn)制方式打開(kāi)n 采用文本方式讀入文件，文件經(jīng)過(guò)編

3、碼形成字符串，打印出有含義的字符；采用二進(jìn)制方式打開(kāi)文件，文件被解析為字節(jié)流。文件的類(lèi)型123f=open(“a.txt”,“rb”)#b表示表示二進(jìn)制二進(jìn)制文件文件方式方式print(f.readline()f.close()bxc8xabxb9xfaxbcxc6xcbxe3xbbxfaxb5xc8xbcxb6xbfxbcxcaxd4n Python對(duì)文本文件和二進(jìn)制文件采用統(tǒng)一的操作步驟，即“打開(kāi)打開(kāi)-操作操作-關(guān)閉關(guān)閉”文件的打開(kāi)和關(guān)閉n Python通過(guò)open()函數(shù)打開(kāi)一個(gè)文件，并返回一個(gè)操作這個(gè)文件的變量，語(yǔ)法形式如下： = open(, )文件的打開(kāi)和關(guān)閉打開(kāi)模式含義r只讀模式

4、，如果文件不存在，返回異常FileNotFoundError，默認(rèn)值w覆蓋寫(xiě)模式，文件不存在則創(chuàng)建，存在則完全覆蓋源文件x創(chuàng)建寫(xiě)模式，文件不存在則創(chuàng)建，存在則返回異常FileExistsErrora追加寫(xiě)模式，文件不存在則創(chuàng)建，存在則在原文件最后追加內(nèi)容b二進(jìn)制文件模式t文本文件模式，默認(rèn)值+與r/w/x/a一同使用，在原功能基礎(chǔ)上增加同時(shí)讀寫(xiě)功能n 打開(kāi)模式使用字符串方式表示，根據(jù)字符串定義，單引號(hào)或者雙引號(hào)均可。上述打開(kāi)模式中，r、w、x、b可以和b、t、+組合使用，形成既表達(dá)讀寫(xiě)又表達(dá)文件模式的方式。文件的打開(kāi)和關(guān)閉n 文件使用結(jié)束后要用close()方法關(guān)閉，釋放文件的使用授權(quán)，語(yǔ)法形

5、式如下：.close()文件的打開(kāi)和關(guān)閉n 新建一個(gè)文本文件a.txt，其內(nèi)容為“全國(guó)計(jì)算機(jī)等級(jí)考試”，保存在目錄PATH中，假設(shè)此時(shí)路徑PATH是Windows系統(tǒng)的D盤(pán)根目錄。打開(kāi)并關(guān)閉該文件的操作過(guò)程如下。文件的打開(kāi)和關(guān)閉PATH=D:f=open(PATH+a.txt,rt)print(f.readline()國(guó)家計(jì)算機(jī)等級(jí)考試f.close()print(f.readline()Traceback(mostrecentcalllast):File,line1,inprint(f.readline()ValueError:I/Ooperationonclosedfile.n 根據(jù)打開(kāi)方

6、式不同，文件讀寫(xiě)也會(huì)根據(jù)文本文件或二進(jìn)制打開(kāi)方式有所不同。文件的讀寫(xiě)方法含義f.read(size=-1)從文件中讀入整個(gè)文件內(nèi)容。參數(shù)可選，如果給出，讀入前size長(zhǎng)度的字符串或字節(jié)流f.readline(size = -1)從文件中讀入一行內(nèi)容。參數(shù)可選，如果給出，讀入該行前size長(zhǎng)度的字符串或字節(jié)流f.readlines(hint=-1)從文件中讀入所有行，以每行為元素形成一個(gè)列表。參數(shù)可選，如果給出，讀入hint行f.seek(offset)改變當(dāng)前文件操作指針的位置，offset的值：0：文件開(kāi)頭； 2: 文件結(jié)尾n 如果文件不大，可以一次性將文件內(nèi)容讀入，保存到程序內(nèi)部變量中。f

7、.read()是最常用的一次性讀入文件的函數(shù)，其結(jié)果是一個(gè)字符串。文件的讀寫(xiě)f=open(D:/b.txt,r)s=f.read()print(s)新年都未有芳華，二月初驚見(jiàn)草芽。白雪卻嫌春色晚，故穿庭樹(shù)作飛花。f.close()n f.readlines()也是一次性讀入文件的函數(shù)，其結(jié)果是一個(gè)列表，每個(gè)元素是文件的一行。文件的讀寫(xiě)f=open(D:/b.txt,r)ls=f.readlines()print(ls)新年都未有芳華，二月初驚見(jiàn)草芽。n,白雪卻嫌春色晚，故穿庭樹(shù)作飛花。nf.close()n 文件打開(kāi)后，對(duì)文件的讀寫(xiě)有一個(gè)讀取指針，當(dāng)從文件中讀入內(nèi)容后，讀取指針將向前進(jìn)，再次讀

8、取的內(nèi)容將從指針的新位置開(kāi)始。文件的讀寫(xiě)f=open(D:/b.txt,r)s=f.read()print(s)新年都未有芳華，二月初驚見(jiàn)草芽。白雪卻嫌春色晚，故穿庭樹(shù)作飛花。ls=f.readlines()print(ls)f.close()n 結(jié)合讀取指針理解，上述代碼中l(wèi)s返回值為空，因?yàn)橹癴.read()方法已經(jīng)讀取了文件全部?jī)?nèi)容，讀取指針在文件末尾，再次調(diào)用f.readlines()方法已經(jīng)無(wú)法從當(dāng)前讀取指針讀入內(nèi)容，因此返回結(jié)果為空。文件的讀寫(xiě)n f.seek()方法能夠移動(dòng)讀取指針的位置，f.seek(0)將讀取指針移動(dòng)到文件開(kāi)頭，f.seek(2)將讀取指針移動(dòng)到文件結(jié)尾。文

9、件的讀寫(xiě)f=open(D:/b.txt,r)s=f.read()print(s)新年都未有芳華，二月初驚見(jiàn)草芽。白雪卻嫌春色晚，故穿庭樹(shù)作飛花。f.seek(0)#將讀取指針重置到文件開(kāi)頭將讀取指針重置到文件開(kāi)頭ls=f.readlines()print(ls)新年都未有芳華，二月初驚見(jiàn)草芽。n,白雪卻嫌春色晚，故穿庭樹(shù)作飛花。nf.close()n 從文本文件中逐行讀入內(nèi)容并進(jìn)行處理是一個(gè)基本的文件操作需求。文本文件可以看成是由行組成的組合類(lèi)型，因此，可以使用遍歷循環(huán)逐行遍歷文件，使用方法如下：f = open(, r)for line in f: # 處理一行數(shù)據(jù)處理一行數(shù)據(jù)f.close

10、()文件的讀寫(xiě)文件的讀寫(xiě)1234f=open(D:/b.txt,r)forlineinf:print(line)f.close()新年都未有芳華，二月初驚見(jiàn)草芽。白雪卻嫌春色晚，故穿庭樹(shù)作飛花。文件的讀寫(xiě)f=open(D:/c.txt,w)f.write(新年都未有芳華n)f.write(二月初驚見(jiàn)草芽n)f.write(白雪卻嫌春色晚n)f.write(故穿庭樹(shù)作飛花n)f.close()方法含義f.write(s)向文件寫(xiě)入一個(gè)字符串或字節(jié)流f.writelines(lines)將一個(gè)元素為字符串的列表寫(xiě)入文件nf.write(s)向文件寫(xiě)入字符串s，每次寫(xiě)入后，將會(huì)記錄一個(gè)寫(xiě)入指針。該方

11、法可以反復(fù)調(diào)用，將在寫(xiě)入指針后分批寫(xiě)入內(nèi)容，直至文件被關(guān)閉。文件的讀寫(xiě)n 上述語(yǔ)句運(yùn)行后將在D盤(pán)目錄下生成一個(gè)文件c.txt，內(nèi)容如下。n 使用f.write(s)時(shí)，要顯式的使用n對(duì)寫(xiě)入文本進(jìn)行分行，如果不進(jìn)行分行，每次寫(xiě)入的字符串會(huì)被連接起來(lái)。新年都未有芳華二月初驚見(jiàn)草芽白雪卻嫌春色晚故穿庭樹(shù)作飛花文件的讀寫(xiě)n f.writelines(lines)直接將列表類(lèi)型的各元素連接起來(lái)寫(xiě)入文件f。ls=新年都未有芳華新年都未有芳華n,二月初驚見(jiàn)草芽二月初驚見(jiàn)草芽n,白雪卻嫌春色晚白雪卻嫌春色晚n,故穿庭樹(shù)作飛花故穿庭樹(shù)作飛花nf=open(D:/c.txt,w)f.writelines(ls)f

12、.close()數(shù)據(jù)組織的維度數(shù)據(jù)組織的維度n 一組數(shù)據(jù)在被計(jì)算機(jī)處理前需要進(jìn)行一定的組織，表明數(shù)據(jù)之間的基本關(guān)系和邏輯，進(jìn)而形成“數(shù)據(jù)的維度”。根據(jù)數(shù)據(jù)的關(guān)系不同，數(shù)據(jù)組織可以分為：一維數(shù)據(jù)、二維數(shù)據(jù)和高維數(shù)據(jù)一維數(shù)據(jù)、二維數(shù)據(jù)和高維數(shù)據(jù)。 一維數(shù)據(jù)n 一維數(shù)據(jù)由對(duì)等關(guān)系的有序或無(wú)序數(shù)據(jù)構(gòu)成，采用線(xiàn)性方式組織線(xiàn)性方式組織，對(duì)應(yīng)于數(shù)學(xué)中數(shù)組的概念。例如：中國(guó)的直轄市列表即可表示為一維數(shù)據(jù)，一維數(shù)據(jù)具有線(xiàn)性特點(diǎn)。北京、上海、天津、重慶二維數(shù)據(jù)n 二維數(shù)據(jù)，也稱(chēng)表格數(shù)據(jù)，由關(guān)聯(lián)關(guān)系數(shù)據(jù)構(gòu)成，采用二維表格方式組織，對(duì)應(yīng)于數(shù)學(xué)中的矩陣，常見(jiàn)的表格都屬于二維數(shù)據(jù)。n 例如：國(guó)家統(tǒng)計(jì)局發(fā)布的居民消費(fèi)價(jià)格指

13、數(shù)是二維數(shù)據(jù)二維數(shù)據(jù)指標(biāo)2014年2015年2016年居民消費(fèi)價(jià)格指數(shù)102101.4102食品103.1102.3104.6煙酒及用品99.4102.1101.5衣著102.4102.7101.4家庭設(shè)備用品101.2101100.5醫(yī)療保健和個(gè)人用品101.3102101.1交通和通信99.998.398.7娛樂(lè)教育文化101.9101.4101.6居住102100.7101.6每個(gè)數(shù)據(jù)為相比上年數(shù)據(jù)的標(biāo)準(zhǔn)值，即上年指標(biāo)為100。高維數(shù)據(jù)n 高維數(shù)據(jù)由鍵值對(duì)類(lèi)型的數(shù)據(jù)構(gòu)成，采用對(duì)象方式組織，可以多層嵌套。n 高維數(shù)據(jù)在Web系統(tǒng)中十分常用，作為當(dāng)今Internet組織內(nèi)容的主要方式，高位數(shù)

14、據(jù)衍生出HTML、XML、JSON等具體數(shù)據(jù)組織的語(yǔ)法結(jié)構(gòu)。高維數(shù)據(jù)本書(shū) : 第1章 : 程序設(shè)計(jì)基本方法,第2章 : Python語(yǔ)言基本語(yǔ)法元素,第3章 : 基本數(shù)據(jù)類(lèi)型,第4章 : 程序的控制結(jié)構(gòu),第5章 : 函數(shù)和代碼復(fù)用,第6章 : 組合數(shù)據(jù)類(lèi)型,第7章 : 文件和數(shù)據(jù)格式化,第8章 : Python計(jì)算生態(tài),第9章 : Python標(biāo)準(zhǔn)庫(kù)概覽,第10章 : Python第三方庫(kù)概覽,第11章 : Python第三方庫(kù)縱覽,第12章 : 考試指導(dǎo),附錄 : 附錄1234567一維數(shù)據(jù)的處理一維數(shù)據(jù)的表示n 一維數(shù)據(jù)是最簡(jiǎn)單的數(shù)據(jù)組織類(lèi)型，由于是線(xiàn)性結(jié)構(gòu)，在Python語(yǔ)言中主要采用列

15、表形式表示。例如：中國(guó)的直轄市數(shù)據(jù)可以采用一個(gè)列表變量表示。ls=北京北京,上海上海,天津天津,重慶重慶print(ls)北京北京,上海上海,天津天津,重慶重慶一維數(shù)據(jù)的存儲(chǔ)n 一維數(shù)據(jù)的文件存儲(chǔ)有多種方式，總體思路是采用特殊字符分隔各數(shù)據(jù)。常用存儲(chǔ)方法包括4種。n （1）采用空格分隔元素，例如：北京 上海 天津 重慶n （2）采用逗號(hào)分隔元素，例如：北京,上海,天津,重慶一維數(shù)據(jù)的存儲(chǔ)n （3）采用換行分隔包括，例如：北京上海天津重慶n （4）其他特殊符號(hào)分隔，以分號(hào)分隔為例，例如：北京;上海;天津;重慶一維數(shù)據(jù)的存儲(chǔ)n 逗號(hào)分割的存儲(chǔ)格式叫做CSV格式格式（Comma-Separated

16、Values，即逗號(hào)分隔值），它是一種通用的、相對(duì)簡(jiǎn)單的文件格式，在商業(yè)和科學(xué)上廣泛應(yīng)用，大部分編輯器都支持直接讀入或保存文件為CSV格式n 一維數(shù)據(jù)保存成CSV格式后，各元素采用逗號(hào)分隔，形成一行。從Python表示到數(shù)據(jù)存儲(chǔ)，需要將列表對(duì)象輸出為CSV格式以及將CSV格式讀入成列表對(duì)象一維數(shù)據(jù)的存儲(chǔ)n 列表對(duì)象輸出為CSV格式文件方法如下，采用字符串的join()方法最為方便。1234ls=北京北京,上海上海,天津天津,重慶重慶f=open(city.csv,w)f.write(,.join(ls)+n)f.close()北京,上海,天津,重慶一維數(shù)據(jù)的處理n 對(duì)一維數(shù)據(jù)進(jìn)行處理首先需要從

17、CSV格式文件讀入一維數(shù)據(jù)，并將其表示為列表對(duì)象。1234f=open(city.csv,r)ls=f.read().strip(n).split(,)f.close()print(ls)北京北京,上海上海,天津天津,重慶重慶二維數(shù)據(jù)的處理n 二維數(shù)據(jù)由多條一維數(shù)據(jù)構(gòu)成，可以看成是一維數(shù)據(jù)的組合形式。因此，二維數(shù)據(jù)可以采用二維列表來(lái)表示，即列表的每個(gè)元素對(duì)應(yīng)二維數(shù)據(jù)的一行，這個(gè)元素本身也是列表類(lèi)型，其內(nèi)部各元素對(duì)應(yīng)這行中的各列值二維數(shù)據(jù)的處理ls = 指標(biāo), 2014年, 2015年, 2016年, 居民消費(fèi)價(jià)格指數(shù), 102, 101.4, 102, 食品, 103.1, 102.3, 10

18、4.6, 煙酒及用品, 994, 102.1, 101.5, 衣著, 102.4, 102.7, 101.4,家庭設(shè)備用品, 101.2, 101, 100.5, 醫(yī)療保健和個(gè)人用品, 101.3, 102, 101.1, 交通和通信, 99.9, 98.3, 98.7, 娛樂(lè)教育文化, 101.9, 101.4, 101.6, 居住, 102, 100.7, 101.6, 二維數(shù)據(jù)的存儲(chǔ)n 二維數(shù)據(jù)由一維數(shù)據(jù)組成，用CSV格式文件存儲(chǔ)。CSV文件的每一行是一維數(shù)據(jù)，整個(gè)CSV文件是一個(gè)二維數(shù)據(jù)。n 二維列表對(duì)象輸出為CSV格式文件方法如下，采用遍歷循環(huán)和字符串的join()方法方法相結(jié)合。1

19、234#ls代表二維列表，此處省略代表二維列表，此處省略f=open(cpi.csv,w)forrowinls:f.write(,.join(row)+n)f.close()二維數(shù)據(jù)的處理n 對(duì)二維數(shù)據(jù)進(jìn)行處理首先需要從CSV格式文件讀入二維數(shù)據(jù)，并將其表示為二維列表對(duì)象。借鑒一維數(shù)據(jù)讀取方法，從CSV文件讀入數(shù)據(jù)的方法如下。123456f=open(cpi.csv,r)ls=forlineinf:ls.append(line.strip(n).split(,)f.close()print(ls)二維數(shù)據(jù)的處理n 程序執(zhí)行后二維列表對(duì)象ls的內(nèi)容如下。指標(biāo),2014年,2015年,2016年,

20、居民消費(fèi)價(jià)格指數(shù),102,101.4,102,食品,103.1,102.3,104.6,煙酒及用品,994,102.1,101.5,衣著,102.4,102.7,101.4,家庭設(shè)備用品,101.2,101,100.5,醫(yī)療保健和個(gè)人用品,101.3,102,101.1,交通和通信,99.9,98.3,98.7,娛樂(lè)教育文化,101.9,101.4,101.6,居住,102,100.7,101.6二維數(shù)據(jù)的處理n 二維數(shù)據(jù)處理等同于二維列表的操作，與一維列表不同，二維列表一般需要借助循環(huán)遍歷實(shí)現(xiàn)對(duì)每個(gè)數(shù)據(jù)的處理，基本代碼格式如下：for row in ls: for item in row:

21、二維數(shù)據(jù)的處理n 對(duì)二維數(shù)據(jù)進(jìn)行格式化輸出，打印成表格形狀123456#此處略去從此處略去從CSV獲取數(shù)據(jù)到二維列表獲取數(shù)據(jù)到二維列表lsforrowinls:line=foriteminrow:line+=:10t.format(item)print(line)實(shí)例解析：國(guó)家財(cái)政數(shù)據(jù)趨勢(shì)演算國(guó)家財(cái)政數(shù)據(jù)趨勢(shì)演算n 國(guó)家統(tǒng)計(jì)局每年會(huì)公開(kāi)許多數(shù)據(jù)，比如國(guó)民經(jīng)濟(jì)核算指標(biāo)等。國(guó)家統(tǒng)計(jì)局公布的大部分?jǐn)?shù)據(jù)都以二維表格形式展現(xiàn)，然而，藏在這些數(shù)據(jù)背后的價(jià)值要比表格所展現(xiàn)的更多。國(guó)家財(cái)政數(shù)據(jù)趨勢(shì)演算n 以國(guó)家財(cái)政收支的公開(kāi)數(shù)據(jù)為例，這里展示如何利用Python挖掘數(shù)據(jù)變化的規(guī)律。將從網(wǎng)上獲取的公開(kāi)信息存為f

22、inance.csv文件指標(biāo)2000年2015年2016年全部收入13395.2152269.2159605中央收入6989.269267.272365.6地方收入64064全部支出15886.5175877.8187755.2中央支出5519.925542.227403.9地方支出10366.7150335.6160351.4國(guó)家財(cái)政數(shù)據(jù)趨勢(shì)演算n 由個(gè)別數(shù)據(jù)預(yù)測(cè)規(guī)律屬于數(shù)值分析的內(nèi)容，可以通過(guò)線(xiàn)性回歸方程建立簡(jiǎn)單模型，線(xiàn)性回歸方程的公式為：n X代表年份，Y代表各年份對(duì)應(yīng)的數(shù)值。Python實(shí)現(xiàn)的國(guó)家財(cái)政數(shù)據(jù)趨勢(shì)演算，根據(jù)上述三個(gè)數(shù)值計(jì)算出更多年份的可能數(shù)據(jù)。國(guó)家

23、財(cái)政數(shù)據(jù)趨勢(shì)演算實(shí)例7.1 123456789101112131415161718192021222324252627#FinancePredict.pydefparseCSV(filename):dataNames,data=,f=open(filename,r,encoding=utf-8)forlineinf:splitedLine=line.strip().split(,)if指標(biāo)指標(biāo)insplitedLine0:years=int(x:-1)forxinsplitedLine1:else:dataNames.append(:10.format(splitedLine0)data.ap

24、pend(float(x)forxinsplitedLine1:)f.close()returnyears,dataNames,datadefmeans(data):returnsum(data)/len(data)deflinearRegression(xlist,ylist):xmeans,ymeans=means(xlist),means(ylist)bNumerator=-len(xlist)*xmeans*ymeansbDenominator=-len(xlist)*xmeans*2forx,yinzip(xlist,ylist):bNumerator+=x*ybDenominato

25、r+=x*2b=bNumerator/bDenominatora=ymeans-b*xmeansreturna,b國(guó)家財(cái)政數(shù)據(jù)趨勢(shì)演算實(shí)例7.1 2829303132333435363738394041424344454647484950515253defcalNewData(newyears,a,b):return(a+b*x)forxinnewyearsdefshowResults(years,dataNames,newDatas):print(:60.format(國(guó)家財(cái)政收支線(xiàn)性估計(jì)國(guó)家財(cái)政收支線(xiàn)性估計(jì))header=指標(biāo)指標(biāo)foryearinyears:header+=:10.format(year)print(header)forname,lineDatainzip(dataNames,newDatas):line=na