當前位置: 每日小說 玄幻奇幻 重生學神有系統 第394章 超參數全自動搜索

《重生學神有系統》 第394章 超參數全自動搜索

江寒掛了電話,沉不語。

老江關切地問:“沒談妥嗎?”

江寒搖了搖頭,嘆了口氣:“談下來一半。”

“一半?”

江寒點了點頭:“大江駐高新區,問題不是太大,只是時間上……最快也得排到下半年了。”

周市長雖然對自己印象很好,但在原則問題上,一點也不肯鬆

這就沒辦法了。

江寒和老江研究了一下,最後還是決定出去租寫字樓。

但說實話,就算找得到理想的地方,只怕一時半會兒之間,也很難辦妥,更要多掏不錢。

正說話間,夏如冰來上班了。

不知不覺之中,已經恢復了原本的明豔,神狀態更是十分良好。

一見面,夏如冰就笑地打招呼:“老闆早,江總早!”

江寒灑然一笑:“早!”

老江也儒雅地點頭:“夏總早。”

江寒打量了夏如冰一眼,忍不住旁敲側擊了一句:“小姨啊,看您的氣,這幾天好像心不錯?”

夏如冰嫣然巧笑:“是啊,閒了這麼久,總算有點事做,當然開心了。”

江寒:“……”

這麼敬業的嗎?

但他關心的,其實是和老易倆人,到底有沒有和好……

“剛纔你們兩個,一本正經的,到底在研究什麼?”夏如冰問。

江寒將打算租樓的事,跟夏如冰說了。

夏如冰明一笑:“這事兒好辦啊,盛夏這棟樓裡,不是還剩不地方嗎?反正這麼多地方,他們也用不了,稍微挪一下,騰出一層、半層樓,問題應該不大。”

Advertisement

江寒無語一秒:“這樣不太好吧?”

夏如虹能給自己兩件辦公室,加地下的機房,已經很難得了。

如果再得寸進尺的話……

夏如冰笑了笑:“這樣吧,我打個電話問問,如果盛夏那邊不方便,咱們再另外想轍兒。”

江寒考慮了一下,點了點頭:“也行,不過……別讓夏阿姨爲難。”

“那當然。”

夏如虹答應了一聲,又說:“老闆,一會兒會有不人來應聘,你要不要把把關?”

江寒灑然一笑:“好!不過我只負責技人員,其他的職位,還要你和老江自己決定。”

距離面試開始,還有一個多小時。

江寒想了想,來到了隔壁。

這個實驗室佈置好之後,一直沒怎麼用,今天正好試試機、找找覺。

這裡配備了兩臺相當先進的電腦,和地下機房裡的服務直連,通過這兩臺終端,就可以方便地作服務

前天,江寒爲了製作OCR件,批量打造了上千個人工神經網絡。

其中絕大多數,都擁有一模一樣的網絡結構,只是引的訓練數據不同。

這樣訓練出來的模型,也就只有權重參數上的區別……

經過兩天的訓練,這些網絡已經完全訓練完畢。

江寒將這些網絡,組合到了一起,再套上一層事先準備好的,用vc--編寫的簡易UI。

很快,OCR件就初步型,可以投使用了。

江寒思考了一下,命名爲“極OCR”。

至於這個名字的含義……其實他沒想那麼多,就是覺得順口的。

Advertisement

然後,他又將源代碼和可執行文件,全都用U盤拷貝下來,帶走。

這樣晚上回家後,就可以正式啓那個計劃,在虛擬空間裡暢快地學習了……

隨後,江寒進了虛擬空間。

他爲ImageNet比賽編寫的代碼,還有相關的論文草稿,就保存在286電腦中。

江寒很快將這些東西,發送到了外面的電腦中。

然後又打開手機,把昨晚下載的訓練數據、校驗數據,也傳送給這臺終端電腦。

程序有了,數據也有了。

江寒又進行了一番算不上辛苦的調試,深度卷積神經網絡終於基本型。

但在開始訓練之前,還有一點工作要做。

這個深度CNN,所擁有的參數實在太多了,哪怕原始數據有足足12萬多條,也很很容易發生過擬合。

所以,爲了提升泛化能力,有必要做一下數據增廣。

數據增廣的方案有許多。

江寒思考了一下,選擇了一種新方案。

原始圖像是256×256的分辨率。

江寒設計了一個程序,從中隨機扣出來224×224大小的區域。

每張原始圖像,都有(256-224)^2=1024種不同的扣法,這樣一來,就相當於將原始數據增廣了1024倍!

接下來,他又將得到的圖像,全都水平鏡像一次,就得到了等於原始數據2048倍的超大數據集合。

增廣完數據,江寒還覺得不夠保險,爲了進一步提高算法的效能,他決定對網絡中用到的超參數,進行一些優化。

以前他也做過人工神經網絡超參數的優化,但那時採用的手段,主要是手修改超參數,然後人工分析、比對。

Advertisement

看修改了某個超參數後,網絡的表現是上升了還是下降了,從而找出較爲優秀的模型。

不用說,這種做法最大的缺陷,就是效率實在太低。

江寒在這次的比賽中,決定使用一種新技

這是他前一陣子,煞費苦心設計出來的方案,代碼複雜度令人髮指。

好在他的腦子夠好用,在消耗了大量心,吃掉了無數冰島紅極參之後,終於是開發功了。

功能很簡單,就是自對超參數進行搜索、優化,以找到結構更合理、能更好的人工神經網絡。

江寒爲這門技取名ASSP(Auto search for super parameters)。

當然,其實就是“搜索超參數”的英文直譯……

ASSP的原理很簡單,就是包裝在人工神經網絡模板外層的一個“殼”。

通過一個調度函數,在訓練神經網絡之前,先按照事先確定的規則,微調某些超參數。

每當完訓練,還會按照既定的規則,從各個方面進行評分。

比如,在梯度下降的過程中,模型是否收斂、收斂速度如何?

不能收斂的網絡,本無法訓練,也就毫無價值,如果收斂速度過慢,訓練起來也會缺效率。

此外,網絡模型在驗證集中的表現,泛化能力、識別準確度、網絡的穩健……

最後,將每次訓練完後,人工神經網絡的綜合得分,從高到低排一下序。

江寒通過最後生的表格,就可以選取合適的超參數組合了。

爲了讓這個超參數搜索程序,獲得更高的工作效率,需要先指定超參數的搜索範圍。

範圍太大的話,會導致搜索時間過長,可能會等不及出結果;如果範圍太小,又很可能找不到合格的超參數取值。

這個搜索範圍,可以看做SFSP的超參數,只能憑經驗設定。

好在江寒已經訓練過許多次人工神經網絡,有著十分充足的經驗。

他將ASSP和深度CNN的代碼融合之後,連同訓練數據、驗證數據,全都上傳到了地下數據理中心的服務裡。

差不多兩天之後,ASSP就能得到初步的果。

至於整個CNN網絡的訓練,那可就有得等了。

原始數據是12萬多條,增廣到2048倍之後,就是2億4千5百萬餘條數據!

數據量實在太龐大了,即使使用了GPU來提速,至也需要5~7天,才能完初步的訓練。

江寒讓程序跑起來之後,就走出了實驗室。

打算回到遊戲工作室裡,休息一下,然後去主持面試。

剛喝了兩口水,手機忽然響了起來。

來電是夏如虹的,江寒連忙接了起來,了聲:“阿姨。”

“你在哪了?”夏如虹聲音溫婉。

“17樓辦公室。”江寒回答。

夏如虹打這個電話,主要是討論寫字機人的銷量和分

寫字機人上市的時候,已經接近年底,所以截止2012年12月31日,只賣出了30多萬臺。

按照當初的約定,江寒將獲得3.5%銷售額的分

人的出廠價是每臺558元,3.5%就是每臺19.53元,30萬臺……

江寒隨便心算了一下,就得出了答案:580多萬。

這就比較讓人愉快了。

有了這筆錢,星空那邊的錢,暫時就不急著用了。

這樣也能避免不匯兌、稅費之類的損失……

猜你喜歡

分享

複製如下連結,分享給好友、附近的人、Facebook的朋友吧!
複製鏈接

問題反饋

反饋類型
正在閱讀: