python神經(jīng)網(wǎng)絡(luò)之批量學(xué)習(xí)tf.train.batch函數(shù)示例

第python神經(jīng)網(wǎng)絡(luò)之批量學(xué)習(xí)tf.train.batch函數(shù)示例目錄學(xué)習(xí)前言tf.train.batch函數(shù)測(cè)試代碼1、allow_samller_final_batch=True2、allow_samller_final_batch=False

學(xué)習(xí)前言

當(dāng)我在快樂(lè)的學(xué)習(xí)SSD訓(xùn)練部分的時(shí)候，我發(fā)現(xiàn)了一個(gè)batch我看不太懂，主要是因?yàn)閠frecords的數(shù)據(jù)讀取方式我不理解，所以好好學(xué)一下batch吧

tf.train.batch函數(shù)

tf.train.batch(

tensors,

batch_size,

num_threads=1,

capacity=32,

enqueue_many=False,

shapes=None,

dynamic_pad=False,

allow_smaller_final_batch=False,

shared_name=None,

name=None

其中：

1、tensors：利用slice_input_producer獲得的數(shù)據(jù)組合。

2、batch_size：設(shè)置每次從隊(duì)列中獲取出隊(duì)數(shù)據(jù)的數(shù)量。

3、num_threads：用來(lái)控制線程的數(shù)量，如果其值不唯一，由于線程執(zhí)行的特性，數(shù)據(jù)獲取可能變成亂序。

4、capacity：一個(gè)整數(shù)，用來(lái)設(shè)置隊(duì)列中元素的最大數(shù)量

5、allow_samller_final_batch：當(dāng)其為True時(shí)，如果隊(duì)列中的樣本數(shù)量小于batch_size，出隊(duì)的數(shù)量會(huì)以最終遺留下來(lái)的樣本進(jìn)行出隊(duì)；當(dāng)其為False時(shí)，小于batch_size的樣本不會(huì)做出隊(duì)處理。

6、name：名字

測(cè)試代碼

1、allow_samller_final_batch=True

importpandasaspd

importnumpyasnp

importtensorflowastf

#生成數(shù)據(jù)

defgenerate_data():

num=18

label=np.arange(num)

returnlabel

#獲取數(shù)據(jù)

defget_batch_data():

label=generate_data()

input_queue=tf.train.slice_input_producer([label],shuffle=False,num_epochs=2)

label_batch=tf.train.batch(input_queue,batch_size=5,num_threads=1,capacity=64,allow_smaller_final_batch=True)

returnlabel_batch

#數(shù)據(jù)組

label=get_batch_data()

sess=tf.Session()

#初始化變量

sess.run(tf.global_variables_initializer())

sess.run(tf.local_variables_initializer())

#初始化batch訓(xùn)練的參數(shù)

coord=tf.train.Coordinator()

threads=tf.train.start_queue_runners(sess,coord)

whilenotcoord.should_stop():

#自動(dòng)獲取下一組數(shù)據(jù)

l=sess.run(label)

print(l)

excepttf.errors.OutOfRangeError:

print('Donetraining')

finally:

coord.request_stop()

coord.join(threads)

sess.close()

運(yùn)行結(jié)果為：

[01234]

[56789]

[1011121314]

[15161701]

[23456]

[7891011]

[1213141516]

[17]

Donetraining

2、allow_samller_final_batch=False

相比allow_samller_final_batch=True，輸出結(jié)果少了[17]

importpandasaspd

importnumpyasnp

importtensorflowastf

#生成數(shù)據(jù)

defgenerate_data():

num=18

label=np.arange(num)

returnlabel

#獲取數(shù)據(jù)

defget_batch_data():

label=generate_data()

input_queue=tf.train.slice_input_producer([label],shuffle=False,num_epochs=2)

label_batch=tf.train.batch(input_queue,batch_size=5,num_threads=1,capacity=64,allow_smaller_final_batch=False)

returnlabel_batch

#數(shù)據(jù)組

label=get_batch_data()

sess=tf.Session()

#初始化變量

sess.run(tf.global_variables_initializer())

sess.run(tf.local_variables_initializer())

#初始化batch訓(xùn)練的參數(shù)

coord=tf.train.Coordinator()

threads=tf.train.start_queue_runners(sess,coord)

whilenotcoord.should_stop():

#自動(dòng)獲取下一組數(shù)據(jù)

l=sess.run(label)

print(l)

excepttf.errors.OutOfRangeError:

print('Donetraining')

finally:

coord.request_stop()

coord.join(threads)

sess.close()

運(yùn)行結(jié)果為：

[01234]

[56789]

[1011121314]

[15161701]

[2