Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)與案例實(shí)戰(zhàn)（微課版）課件 6.10 Hive函數(shù)

Hadoop大數(shù)據(jù)項(xiàng)目開發(fā)——Hive函數(shù)目錄content02Hive窗口函數(shù)01Hive內(nèi)置函數(shù)Hive內(nèi)置函數(shù)分類函數(shù)描述數(shù)值相關(guān)函數(shù)

greatest(Tv1,Tv2,..)返回一組相同類型數(shù)據(jù)中的最大值（過濾NULL值）least(Tv1,Tv2,...)返回一組相同類型數(shù)據(jù)中的最小值（過濾NULL值）rand()返回0～1之間的隨機(jī)值rand(INTseed)返回固定的隨機(jī)值round(DOUBLEA)返回參數(shù)A四舍五入后的BIGINT值Hive內(nèi)置函數(shù)分類函數(shù)描述字符串相關(guān)函數(shù)

upper(STRINGA)ucase(STRINGA)將字符串A中的小寫字母轉(zhuǎn)換成大寫字母lower(STRINGA)lcase(STRINGA)將字符串A中的大寫字母轉(zhuǎn)換成小寫字母concat(STRINGA,STRINGB,...)字符串拼接函數(shù)，返回A連接B等產(chǎn)生的字符串regexp_replace(STRINGA,STRINGB,STRINGC)字符串替換函數(shù)，用字符串C替換字符串A中的Brepeat(STRINGstr,INTn)返回字符串str重復(fù)n次的結(jié)果trim(STRINGA)ltrim(STRINGA)rtrim(STRINGA)trim(STRINGA)刪除字符串兩邊的空格，但不會(huì)刪除中間的空格，ltrim(STRINGA)和rtrim(STRINGA)分別刪除左邊和右邊的空格length(STRINGstr)獲取字符串str的長(zhǎng)度split(STRINGstr,regex)按給定的正則表達(dá)式regex分割字符串str，將結(jié)果作為字符串?dāng)?shù)組返回substr（STRINGa,STRINGb）從字符串a(chǎn)中，第b位開始取，取右邊所有的字符Hive內(nèi)置函數(shù)分類函數(shù)描述條件函數(shù)

if(BOOLEANtestCondition,TvalueTrue,TvalueFalseOrNULL)函數(shù)會(huì)根據(jù)條件返回不同的值，如果滿足條件，返回第一個(gè)參數(shù)值，否則返回第二個(gè)參數(shù)值nvl(Tvalue,Tdefault_value)判斷值是否為空，如果T（可以為任意數(shù)據(jù)類型）為空，則返回默認(rèn)值時(shí)間相關(guān)函數(shù)

unix_timestamp()獲取當(dāng)前系統(tǒng)時(shí)間，返回值為數(shù)字型秒數(shù)to_date(stringtimestamp)將時(shí)間戳轉(zhuǎn)換為日期，傳入?yún)?shù)也可以是當(dāng)前時(shí)間戳current_timestampdatediff(STRINGenddate,STRINGstartdate)返回INT類型的兩個(gè)日期相差的天數(shù)date_add(STRINGstartdate,INTdays)獲取增加天數(shù)后的日期last_day(STRINGdate)獲取傳入日期的月末日期Hive內(nèi)置函數(shù)分類函數(shù)描述聚合函數(shù)

count(*)和count(expr)返回檢索行的總數(shù)sum(col)和sum(DISTINCTcol)返回col所有元素的總和avg(col)和avg(DISTINCTcol)返回col所有元素的平均值min(col)返回col所有元素的最小值max(col)返回col所有元素的最大值類型轉(zhuǎn)換函數(shù)cast(expras<type>)將一個(gè)數(shù)據(jù)類型轉(zhuǎn)換為另一個(gè)數(shù)據(jù)類型膨脹函數(shù)explode()將一行數(shù)據(jù)轉(zhuǎn)換成列數(shù)據(jù)，可以用于array和map類型的數(shù)據(jù)，函數(shù)中的參數(shù)傳入的是arrary數(shù)據(jù)類型的列名。此函數(shù)不能關(guān)聯(lián)原有的表中的其他字段、不能與groupby、clusterby、distributeby、sortby聯(lián)用、不能進(jìn)行UDTF嵌套和不允許選擇其他表達(dá)式。窗口分析函數(shù)想要既顯示聚集前的數(shù)據(jù)，又要顯示聚集后的數(shù)據(jù)，引入了窗口函數(shù)。窗口函數(shù)又叫分析函數(shù)，窗口函數(shù)兼具分組和排序功能。over()默認(rèn)的窗口大小是從第一行到最后一行的所有數(shù)據(jù)。partitionby是按照要求進(jìn)行分組，這樣設(shè)定之后，over的窗口大小就是一個(gè)分組。當(dāng)只指定分組時(shí)，sum、avg統(tǒng)計(jì)的數(shù)據(jù)就是分組內(nèi)的數(shù)據(jù)，當(dāng)既指定分組又指定排序時(shí)，sum、avg統(tǒng)計(jì)的數(shù)據(jù)就是分組第一行到當(dāng)前行的數(shù)據(jù)。窗口函數(shù)最重要的關(guān)鍵字是partitionby和orderby。分組TOPN函數(shù)創(chuàng)建userinfo表將本地?cái)?shù)據(jù)user.txt文件加載到userinfo表分組TOPN函數(shù)查詢結(jié)果分組TOPN函數(shù)最終查詢結(jié)果累加計(jì)算函數(shù)創(chuàng)建index表將本地?cái)?shù)據(jù)index.txt文件加載到index表累加計(jì)