大數(shù)據(jù)課件1第2章-大數(shù)據(jù)軟件基礎(chǔ)

1第2章大數(shù)據(jù)軟件基礎(chǔ)2.1Linux基礎(chǔ)2.2Java語言基礎(chǔ)2.3SQL語言基礎(chǔ)2.4在VirtualBox上安裝虛擬機2.1Linux基礎(chǔ)2.1.1

命令格式Linux命令的一般格式是：命令名[命令選項][命令參數(shù)]（1）命令名即命令程序名。（2）命令選項說明對命令的要求。命令選項通常是包括一個或多個字母的代碼，前面有一個“-”連字符。有多個命令選項時，可將字母寫在一起，前面只加一個“-”連字符，例如可將命令“l(fā)s-l-a”簡寫為“l(fā)s-la”。（3）命令參數(shù)描述命令的操作對象，通常命令參數(shù)是一些文件名，告訴命令從哪里可以得到輸入，以及把輸出送到什么地方。例如，不帶參數(shù)的ls命令只能列出當(dāng)前目錄下的文件和目錄，而使用參數(shù)可列出指定目錄或文件中的文件和目錄。2.1Linux基礎(chǔ)2.1.2用戶管理1.使用useradd命令添加新用戶useradd[命令選項]新建用戶名-d：指定用戶登錄系統(tǒng)時的主目錄，如果不使用該參數(shù)，系統(tǒng)自動在/home目錄下建立與用戶名同名目錄為主目錄；-m：創(chuàng)建用戶的主目錄，自動建立與用戶名同名的主目錄；-n：創(chuàng)建一個同用戶登錄名同名的新組；-r：創(chuàng)建系統(tǒng)賬戶；-p：為用戶賬戶指定默認密碼；-s：指定默認登錄的shell方式。$sudouseradd-mpython#創(chuàng)建python用戶$ls/home/#查看當(dāng)前都有哪些用戶，可發(fā)現(xiàn)剛添加的用戶名pythondblabhadooppython利用cat命令打開etc目錄下面的passwd文件，查找是否有剛添加的用戶名，有則代表添加成功了。$cat/etc/passwdpython:x:1002:1002::/home/python:2.1Linux基礎(chǔ)2.1.2用戶管理2.使用passwd命令設(shè)置用戶密碼在Linux中，超級用戶可以使用passwd命令為普通用戶設(shè)置或修改用戶口令。用戶也可以直接使用該命令來修改自己的口令。$sudopasswdpython#為python用戶設(shè)置密碼輸入新的UNIX密碼：重新輸入新的UNIX密碼：passwd：已成功更新密碼2.1Linux基礎(chǔ)2.1.2用戶管理3.使用su命令切換用戶Ubuntu默認安裝時，并沒有給root用戶設(shè)置口令，也沒有啟用root帳戶。要想作為root用戶來運行命令可以使用sudo命令達此目的。只要為root設(shè)置一個root密碼就可以啟用root帳戶，$sudopasswdroot#接下來為root設(shè)置一個密碼設(shè)置好root密碼后，就可以直接作為root登錄了。su命令可以更改用戶的身份，例如從普通用戶python切換到root用戶，從root用戶切換到普通用戶python。hadoop@Slave1:~$supython#然后輸入密碼就切換到python用戶下密碼：

python@Slave1:/home/hadoop$2.1Linux基礎(chǔ)2.1.2用戶管理4.使用userdel命令刪除用戶$userdelusername#刪除username用戶，但不會自動刪除用戶的主目錄$userdel–rusername#刪除username用戶，同時刪除用戶的主目錄5.用戶組管理（1）查看用戶在哪些組查看用戶在哪些組：groups用戶名$groupspython#查看python用戶在哪些組（2）新建用戶組$groupaddABC#新建用戶組ABC（3）刪除用戶組$groupdelABC#刪除用戶組ABC（4）設(shè)置用戶所在組usermod$usermod-g用戶組用戶名$usermod-a-G用戶組用戶名python@Slave1:/home/hadoop$su#切換到root用戶密碼：

#為python用戶添加sudo權(quán)限r(nóng)oot@Slave1:/home/hadoop#usermod-a-Gsudopythonroot@Slave1:/home/hadoop#groupspython#查看python用戶在哪些組python:pythonsudo2.1Linux基礎(chǔ)2.1.3文件操作1.使用touch命令新建一個文件touch[命令選項]文件名命令選項說明：-a：只更改訪問時間；-m：改變文件的修改時間；-c：假如“文件名”文件不存在，不會建立新的文件，避免創(chuàng)建一個新文件；-t：使用指定的時間創(chuàng)建文件；-d：使用指定的日期時間指定文件的時間標簽，而非現(xiàn)在的時間。$touch-t201903121230file#使用指定的201903121230時間創(chuàng)建file文件$touchfile{1..10}#在當(dāng)前目錄下創(chuàng)建file1~file10共10個文件2.1Linux基礎(chǔ)2.1.3文件操作2.使用cat查看文件內(nèi)容、創(chuàng)建文件、文件合并、追加文件內(nèi)容cat[命令選項]文件-n或--number：從1開始對所有輸出的行編號；-b或--number-nonblank：和-n相似，只不過對于空白行不編號；-s或--squeeze-blank：當(dāng)遇到有連續(xù)兩行以上的空白行，將多個相鄰的空行合并成一個空行。1）使用cat查看文件內(nèi)容$cat/etc/profile#查看profile文件內(nèi)容，將內(nèi)容輸出到標準輸出上2）使用cat創(chuàng)建文件$cat>operating_systemUnix執(zhí)行cat>operatingsystem后，生成名叫operating_system的文件。然后下面會顯示空行，此時輸入上述內(nèi)容，輸入完成后，按Ctrl+D組合鍵存盤退出cat。2.1Linux基礎(chǔ)2.1.3文件操作2.使用cat查看文件內(nèi)容、創(chuàng)建文件、文件合并、追加文件內(nèi)容3）使用cat連接多個文件的內(nèi)容并且輸出到一個新文件中假設(shè)有a.txt、b.tx和c.txt文件，通過cat把a.txt、b.tx和c.txt三個文件連接在一起（也就是說把這三個文件的內(nèi)容都接在一起）并輸出到一個新的文件d.txt中的命令格式如下。$cata.txtb.txtc.txt>d.txt4）cat向已存在的文件追加內(nèi)容把textfile1和textfile2的文檔內(nèi)容加上行號（空白行不加）之后將內(nèi)容附加到textfile3文檔里：$cat-btextfile1textfile2>>textfile32.1Linux基礎(chǔ)2.1.4目錄操作Linux沒有盤符這個概念，只有一個根目錄/，所有文件都在它下面2.1Linux基礎(chǔ)2.1.4目錄操作目錄

目錄說明/bin存放二進制可執(zhí)行文件，常用命令一般都在這里，如ls、cat、mkdir等/etc存放所有的系統(tǒng)管理所需要的配置文件和子目錄/home普通用戶主目錄，當(dāng)新建賬戶時，都會分配在此，存放所有用戶文件的根目錄，比如用戶user的主目錄就是/home/user，可以用~表示/lib存放在開機時會用到的函數(shù)庫，以及在/bin或/sbin底下的指令會調(diào)用的函數(shù)庫/usr用戶的很多應(yīng)用程序和文件都放在這個目錄下，類似于windows下的programfiles目錄/user1user1用戶家目錄/user2user2用戶家目錄/pythonpython用戶家目錄/Desktoppython用戶家目錄下的Desktop子目錄2.1Linux基礎(chǔ)2.1.4目錄操作1.使用mkdir命令創(chuàng)建目錄$mkdirdir1#創(chuàng)建dir1目錄$mkdir-pnewdir/newdir/newdir#遞歸方式創(chuàng)建3連續(xù)目錄注意：創(chuàng)建新的多級目錄數(shù)目如果大于等于2個，就要使用-p參數(shù)。ls[命令選項][目錄名]-a：顯示指定目錄中的所有文件。-l：除文件名稱外，文件型態(tài)、權(quán)限、擁有者、大小等信息也詳細列出。-t：將文件按建立時間先后次序列出。-F：在列出的文件名稱后加一符號，如可執(zhí)行檔加"*"，目錄加"/"。-R：若目錄下有文件，則目錄下的文件亦皆依序列出。-t：以修改時間排序。2.使用ls命令列出目錄中的內(nèi)容2.1Linux基礎(chǔ)2.1.4目錄操作3.使用cd命令切換目錄$cd~#切換到當(dāng)前用戶的主目錄，即“/home/用戶名”目錄$cd.#"."則是表示目前所在的目錄$cd.. #切換到上級目錄，".."則表示目前目錄位置的上一層目錄$cd- #可以在最近兩次工作目錄之間來回切換$pwd#輸出當(dāng)前所處目錄4.使用pwd命令查看當(dāng)前工作目錄2.1Linux基礎(chǔ)2.1.5文件壓縮和解壓縮命令1.zip壓縮與unzip解壓縮1）zip命令把當(dāng)前目錄下面的mydata目錄壓縮為mydata.zip，-r命令選項表示遞歸處理，將指定目錄下的所有文件和子目錄一并處理：$zip-rmydata.zipmydata#壓縮mydata目錄把當(dāng)前目錄下面的abc文件夾和123.txt文件壓縮成為abc123.zip$zip-rabc123.zipabc123.txt#-r表示遞歸壓縮子目錄下所有文件2）unzip命令把當(dāng)前目錄下面的mydata.zip解壓到mydatabak目錄里面$unzipmydata.zip-dmydatabak#-d指定文件解壓縮后所要存儲的目錄把當(dāng)前目錄下面的data.zip直接解壓到當(dāng)前目錄里面$unzipdata.zip2.1Linux基礎(chǔ)2.1.5文件壓縮和解壓縮命令打包是指將多個文件或目錄變成一個總的文件。1）tar打包壓縮把/etc目錄中所有的文件打包為etc.tar文件：$tar-cvf/tmp/etc.tar/etc把/etc目錄中所有的文件打包壓縮為一個.bz2格式的文件：$tar-jcvfpack.tar.bz2/etc命令選項說明如下。z：解壓縮類型為.tar.gz；c：打包；-x：解壓；v：顯示過程；f：指定打包后的文件名。2.1Linux基礎(chǔ)2.1.5文件壓縮和解壓縮命令打包是指將多個文件或目錄變成一個總的文件。2）tar解包解壓$tarxvfFileName.tar#將FileName.tar解包$tar-zxvfpack.tar.gz/pack#解包解壓.gz格式的壓縮包到pack文件夾$tar-jxvfpack.tar.bz2/pack#解包解壓.bz2格式的壓縮包到pack文件夾2.1Linux基礎(chǔ)2.1.6安裝和卸載軟件在Ubuntu中安裝軟件和Windows系統(tǒng)中雙擊exe文件安裝軟件的方式有很大的不同，使用最多的是通過apt-get方式從軟件源安裝軟件。軟件源本質(zhì)上就是一個軟件倉庫，Ubuntu在全世界各地有很多的軟件倉庫，這個倉庫中包含了Ubuntu系統(tǒng)中的各種軟件，需要什么軟件，只要記得正確的軟件的名字，就可以簡單的通過sudoapt-getinstall命令安裝，而且軟件的卸載也非常方便，只需要運行sudoapt-getremove命令即可。而平時使用最多的軟件安裝方式就是通過軟件源的方式。更新源：sudoapt-getupdate安裝包：sudoapt-getinstallpackage2.1Linux基礎(chǔ)2.1.6安裝和卸載軟件重新安裝包：sudoapt-getinstallpackage–reinstall修復(fù)安裝：sudoapt-get-finstall更新已安裝的包：sudoapt-getupgrade升級系統(tǒng)：sudoapt-getdist-upgrade刪除包：sudoapt-getremovepackage刪除包，包括配置文件等：sudoapt-getremovepackage--purge19第2章大數(shù)據(jù)軟件基礎(chǔ)2.1Linux基礎(chǔ)2.2Java語言基礎(chǔ)2.3SQL語言基礎(chǔ)2.4在VirtualBox上安裝虛擬機2.1Linux基礎(chǔ)2.2.1基本數(shù)據(jù)類型基本數(shù)據(jù)類型可以分為三類，字符類型char，布爾類型boolean以及數(shù)值類型byte、short、int、long、float、double。7.char（字符）類型char類型是一個單一的16位Unicode字符。char數(shù)據(jù)類型可以儲存任何字符。例子：charletter='C';2.1Linux基礎(chǔ)2.2.2主類結(jié)構(gòu)Java語言是面向?qū)ο蟮某绦蛟O(shè)計語言，Java程序的基本組成單元是類，一個Java程序就是由若干個類構(gòu)成的。類體中包括屬性與方法兩部分。每一個Java本地應(yīng)用程序都必須包含一個main()方法，含有main()方法的類稱之為主類。一個Java程序的基本結(jié)構(gòu)大體可以分為包、類、main()主方法、標識符、關(guān)鍵字、語句和注釋等。2.1Linux基礎(chǔ)2.2.2主類結(jié)構(gòu)下面通過程序來介紹Java主類結(jié)構(gòu)。【例2-1】創(chuàng)建包myclass.struct，創(chuàng)建類MainClassStructure。在類體中輸入如下代碼，實現(xiàn)在控制臺上輸出“讓我看看，主類的結(jié)構(gòu)。”文本內(nèi)容。實現(xiàn)代碼如下：packagemyclass.struct;//定義包publicclassMainClassStructure{//創(chuàng)建類

staticStrings1="讓我看看，";//定義類的成員變量

publicstaticvoidmain(String[]args){//定義主方法

Strings2="主類的結(jié)構(gòu)。";//定義局部變量

System.out.print(s1);//輸出成員變量的值

System.out.println(s2);//輸出局部變量的值

}}2.1Linux基礎(chǔ)2.2.3定義類Java是通過關(guān)鍵字class來定義類的，其語法格式如下：[類修飾符]class類名[extends父類名][implements接口名]{…//類體，包括定義類的成員變量和方法}類名由用戶指定，可以是任意合法的標識符。類體是定義在大括號中的部分，它是整個類的核心，可以分為類的成員變量和成員方法兩個部分?！癳xtends父類名”為可選項，表示所定義的類繼承了其他父類，這時該類自動獲得父類中所有可能的屬性和方法。“implements接口名”為可選項，它表示定義的類需要通過實現(xiàn)某個接口完成，接口實際也是一種特殊的類，它所定義的方法一般為空，需要在派生類中實現(xiàn)該方法。2.1Linux基礎(chǔ)2.2.3定義類Java是通過關(guān)鍵字class來定義類的，其語法格式如下：[類修飾符]class類名[extends父類名][implements接口名]{…//類體，包括定義類的成員變量和方法}類修飾符為可選項，它決定了類在程序運行過程中以何種方式被處理，修飾符可以是下面這些關(guān)鍵字之一。（1）final：最終類，不能擁有子類。如果沒有此修飾符，則可以被子類所繼承。（2）abstract：抽象類，類中的某些方法（稱為抽象方法）沒有實現(xiàn)，必須由其子類來實現(xiàn)。因為抽象類中含有無具體實現(xiàn)的方法，所以一般不能用抽象類創(chuàng)建對象。如果沒有此修飾符，則類中所有的方法都必須實現(xiàn)。2.1Linux基礎(chǔ)2.2.3定義類Java是通過關(guān)鍵字class來定義類的，其語法格式如下：[類修飾符]class類名[extends父類名][implements接口名]{…//類體，包括定義類的成員變量和方法}類修飾符為可選項，它決定了類在程序運行過程中以何種方式被處理，修飾符可以是下面這些關(guān)鍵字之一。（3）public：公共類，public表明本類可以被所屬包以外的類訪問。如果沒有此修飾符，則禁止這種外部訪問，只能被同一包中的其它類所訪問。2.1Linux基礎(chǔ)2.2.4類的實例化【例2-2】一個簡單的Point類。publicclassPoint{intx,y;//定義類的成員變量

Point(intix,intiy){//定義類的Point構(gòu)造方法

x=ix;y=iy;}voidmove(intix,intiy){//定義類的成員方法

x+=ix;y+=iy;}}類實例化的語法格式為：類名對象名=new類名([參數(shù)列表])例如，將類Point實例化為對象p1的語法格式為：Pointp1=newPoint();關(guān)鍵字new為每個生成的對象分配一片內(nèi)存區(qū)域，并返回該對象的一個引用（可理解為該對象的內(nèi)存首地址）。2.1Linux基礎(chǔ)2.2.5包

包是一組由類和接口所組成的集合，Java程序可以由若干個包組成，每一個包擁有自己獨有的名字。包的引入，解決了類命名沖突的問題。在Windows中，包是以文件系統(tǒng)存放的，包和類的關(guān)系類似于文件夾和文件的關(guān)系。包中的子包，相當(dāng)于文件夾內(nèi)的子文件夾。命名包的創(chuàng)建很簡單，只要在Java的源文件的第一行寫上package語句就可以完成，格式如下：package包名;指定包名后，該源文件中所有的類都在這個包中。由于Windows中的Java是用文件系統(tǒng)來存放包的，所以必須要有一個和包名相同的文件夾，該包中所有的類編譯生成的class文件都必須放在這個文件夾中才能正常使用。2.1Linux基礎(chǔ)2.2.5包Java中常用的包包名說

明java.langJava核心類庫，包含了運行Java程序必不可少的系統(tǒng)類，如Object、Math、String、StringBuffer、System、Thread類等，系統(tǒng)缺省加載該包java.utilJava的實用工具類庫，Java提供了一些實用的方法和數(shù)據(jù)結(jié)構(gòu)，如包括日期(Data)、日歷(Calendar)、隨機數(shù)(Random)、堆棧(Stack)、向量(Vector)等類java.ioJava語言的標準輸入/輸出類庫，如基本輸入輸出流、文件輸入輸出和過濾輸入輸出流等實現(xiàn)網(wǎng)絡(luò)功能的類庫有Socket類、ServerSocket類java.sql實現(xiàn)JDBC的類庫java.awt構(gòu)建圖形用戶界面(GUI)的類庫，低級繪圖操作Graphics類，圖形界面組件和布局管理如

Checkbox類、Container類、LayoutManger接口等，以及界面用戶交互控制和事件響應(yīng)，如Event類29第2章大數(shù)據(jù)軟件基礎(chǔ)2.1Linux基礎(chǔ)2.2Java語言基礎(chǔ)2.3SQL語言基礎(chǔ)2.4在VirtualBox上安裝虛擬機2.3SQL語言基礎(chǔ)關(guān)系型數(shù)據(jù)庫以行和列的形式存儲數(shù)據(jù)，關(guān)系型數(shù)據(jù)庫和常見的表格相似，存儲的格式可以直觀地反映實體間的關(guān)系。關(guān)系模型可以簡單理解為二維表格模型，而一個關(guān)系型數(shù)據(jù)庫就是由二維表及其之間的關(guān)系所組成的一個數(shù)據(jù)組織。關(guān)系型數(shù)據(jù)庫主要有：Oracle、DB2、MicrosoftSQLServer、MicrosoftAccess、MySQL等等。雖然關(guān)系型數(shù)據(jù)庫有很多，但大多數(shù)都遵循SQL（結(jié)構(gòu)化查詢語言，StructuredQueryLanguage）標準。常見的SQL操作有查詢，新增，更新，刪除等，其相應(yīng)的標準SQL語句如下：創(chuàng)建數(shù)據(jù)庫：createdatabase數(shù)據(jù)庫名charactersetutf8。修改數(shù)據(jù)庫：alterdatabase數(shù)據(jù)庫名charactersetgbk。建表語句：createtable表名(列名1列的類型[約束],列名2列的類型[約

束