當前位置: 櫻花文學 玄幻奇幻 重生學神有系統 第479章 梯度爆炸和網路退化

《重生學神有系統》 第479章 梯度爆炸和網路退化

這天,江寒剛下課,展飛忽然召見。

見面后,校長大人爽朗一笑:「小江啊,最近工作辛苦的吧?」

「還行。」

江寒隨口應和了一句,有點弄不清對方葫蘆里到底賣的什麼葯。

展飛關懷了幾句后,笑瞇瞇地說:「基於你在『九章』和教學上的績,咱們學校給你爭取了個待遇。」

「待遇?」江寒一怔。

自己的待遇還不夠好嗎?

才二十歲就評上了副教授。

要知道,由於名額有限,很多任教二十來年,四十來歲的「老」教師,還在排隊等著呢!

展飛笑著說:「副教授只是職稱,遠遠不能匹配你的能力和貢獻,所以經過研究,跟上面爭取了一個名額……」

跟著介紹了一下詳細況。

「待遇比照青千計劃?」江寒十分意外。

「青千計劃」可不容易選。

50萬的生活補助、3年100萬~300萬元的科研經費補助……

種種條件,不知會讓多人羨慕、嫉妒、恨!

不過,「青千計劃」面向的是海歸學者,而自己是徹頭徹尾的本土派……

展飛對此的解釋是:「對於特殊人才,自然要有特殊的政策。」

他的意思很簡單:待遇應該與貢獻和科研能力掛鉤,不該以出論英雄!

並且,江寒沒有海外求學經歷,卻能媲任何「青千計劃」的人選,在展飛看來,這一點尤其可貴!

這個待遇也是江寒應得的。

其他就姑且都不論,一個「九章」原型機,就足夠他被特殊對待了。

回到辦公室后,江寒刷了會兒「材料學」方面的論文。

就在這時,方源來了。

小方同學已經正式學了,了科大年班的一名新生。

他原本只打算先過來讀個預科,沒想到展飛在這件事上,又開了次綠燈……

Advertisement

「方源同學,過來坐。」江寒笑著招手。

方源靦腆一笑:「老闆……」

江寒瀟灑一擺手:「在學校,老師就行。」

「嗯,江教授。」

「什麼事?」

方源遲疑了一下:「我能不能跟您學習機學習?」

江寒莞爾一笑:「這有什麼不行的?不過你得先把高數的基礎打好,在機學習離不開數學。」

方源點了點頭:「這個我知道,其實這段時間,我已經把高數和線代數看完了,題也做了不。」

江寒眼睛一亮:「哦?給力的嘛!」

微微沉了一下,又說:「那我給你出套卷子,看看你的水平。」

方源用力點頭:「沒問題!」

江寒只用了二十分鐘,就出好了卷子。

主要圍繞機學習可能用到的高數和線代知識。

題目不簡單,覆蓋面也廣。

但讓江寒意外的是,方源比他想象中更加給力。

這小子只用了一個小時,就以滿分的績,完了試卷!

江寒十分滿意:「不錯!有這個水平,你的確可以門機學習了。」

接下來,他就找了基本相關的教材,扔給小方同學,讓他回去自學,有不懂的再來問……

方源禮貌告辭,臨走帶上了門。

江寒則繼續刷論文。

忽然,郵箱助手彈出了一條消息:「您有一封新郵件。」

江寒隨手點開,麻麻都是字母。

江寒啞然失笑:「大概又是什麼廣告?」

再仔細一看,竟然不是英文,打開瀏覽,複製、粘、搜索。

這才發現,原來是德語。

江寒並沒學過德語,不過藉助網路和詞典,還是能弄清楚大概意思的。

半個小時后,江寒翻譯完了這封信。

來信者自稱「漢斯」,是德國某著名大學的教授。

他說自己對「人工神經網路」十分有興趣,並且,在看到江寒的論文後,也深學習了一番。

Advertisement

還仿照那上面的容,自製了一些簡單的CNN、RNN之類的網路……

隨後又說,他上了一些很麻煩的問題,希江寒能不吝賜教。

比如,他在試驗某個多達127層的深度學習模型時,每次訓練到大約三分之一進度,就會出現各種意想不到的問題。

問題的類型,隨超參數的選擇而有所不同。

比如隨著網路深度的增加,參數的梯度范數指數式減小,參數的變化十分緩慢,學習過程接近停滯;

又或者,給定層的藏單元的維度變得越來越低,參數矩陣的乘積變得越來越線相關……

漢斯誠懇地詢問,江寒知不知道造這些況的原因,以及有沒有辦法解決?

江寒沉思了一會,便在電腦上回信。

「您在來信中反映的問題,我也遇到過,前者,稱作梯度消失,或者炸,後者,我把它做『網路退化』,這主要是由於當網路層數過深時……」

「有時,增大全局的梯度范數,會導致能下降,而引另一種運算,減小梯度范數,卻有可能大幅提升網路的能……」

「至於解決的辦法,我也只有一些基於個人經驗的小技巧,並不能給出嚴格的證明。」

「這些小技巧,我打算整理一下,於接下來幾個月中發表,請關注XXX或xxx雜誌,期待您的指正。」

寫完回信,江寒便將其發送了出去,隨後繼續一不茍地刷論文……

時間荏苒,一晃又是兩個月過去。

期末考試之後,江寒理完瑣事,便帶著方源飛回了松江。

寒假中間,蘇婉瑩和靳雪雯來了松江。

靳雪雯是來外婆家過年,蘇婉瑩則自稱想夏雨菲了……

四人聚在一起,吃喝玩樂不在話下。

可惜,生活從來不是只有歲月靜好,煩惱什麼時候也不了。

Advertisement

江寒最大的煩惱,自然在科研方面。

LV2量子計算機,雖然已經藉助系統的功能,在虛擬空間里建造完了。

但在解析原理時,卻遇上了意想不到的麻煩。

也許還是理論掌握得不夠多,不夠深

江寒約猜到了原因,但也沒什麼好辦法。

這不是一朝一夕之功,必須慢慢來。

整個寒假,江寒的「業餘」時間,都投到了理解、發展量子力學上。

天道酬勤,就在過年前後,他終於有了突破!

江寒將自己關於量子力學的心得,寫論文,投給了《理論理學報》。

一個月後,論文通過了評審,並迅速得到發表。

江寒本以為自己這一次,只是做出了一點微不足道的小發現。

沒想到,卻引起了巨大的轟

細究原因,大概是理論理近年來有些沉寂,已經很久沒有新果了?

反正江寒這篇論文,一經問世,頓時攪了一潭秋水。

無數大佬發聲,讚歎、驚訝,爭相討論,一時間熱鬧非常。

也有不人,在江寒工作的基礎上,拓展、延、補充、探索……

不到三個月,幾十篇相關領域的新論文,在各種刊上湧現出來。

江寒刷完這些論文,很是有些慨。

「偉人說得果然沒錯,這就人多力量大呀!」

他的理論給了別人啟發,反過來,別人的研究果,又能促進他自己的研究。

這就……良循環?

到理論突破的催化,不久后,新的契機來臨了。

虛擬空間中,江寒大笑出聲:「原來是這樣!怎麼我早沒想到呢?」

功夫不負苦心人,自己花了這麼多時間和力,終於搞清楚了LV2量子計算機中,至關重要的關鍵!

瞬間,全盤貫通。

江寒立即行起來,將自己的最新理解,轉化文字資料、實驗記錄之類。

Advertisement

同時,開始進行LV2量子計算機的圖紙重構。

系統買來的那套圖紙,固然很好很強大,但各方面的技參數,也十分嚴苛。

比如,量子發生之類的件,完全按照圖紙給出的標準,至20年都沒辦法生產出來!

無他,工藝沒發展到那一步而已。

所以,需要稍微取點巧。

江寒想到的辦法,就是對其進行優化、簡,使其有可能用已有的技加以實現!

兩周后,這部分工作順利完了,重構的圖紙也列印了出來。

接下來,就是提項目計劃書,請上面批準、撥款,以打造「九章」第二版。

如果上面不同意,其實也沒關係,江寒完全可以自掏腰包,在大江的地下室里自己搞!

但有了「九章」第一版的功經驗,想必不會遇到太多阻礙?

果然,上面並沒有讓江寒失,關於打造新「九章」的計劃書,獲得了超乎想象的重視。

不到半個月,便正式立項,經費也很快撥了下來。

江寒十分欣喜,只要打造出LV2量子計算機,那麼距離喚醒嚮導,便又近了一大截!

他本打算繼續和范一合作,共同打造新「九章」。

畢竟之前兩人合作得相當愉快。

沒想到,就在項目立項后的第二天,范院士突然被委以重任,去領導某個「量子通信」項目了。

江寒則接替了范院士的位置,為了量子計算中心的「主任」……

由於有之前的輝煌戰績,江寒在量子中心裡,現在正是人人敬服的狀態。

所以很順利地便完了「權力接」,新「九章」項目也在他的推下,迅速啟

接下來大半個學期,江寒每天出家、教室、實驗室,三點一線。

日子平淡又充實,新「九章」的進度也日新月異。

時間來到6月份。

一天,江寒下班后,正走在回家路上,一拐彎,迎面上了方源。

自從上次從江寒這裡拿走不資料后,這小子就再沒上門「擾」。

看這小子滿臉興、形匆匆的樣子……

「怎麼走這麼急?有約你嗎?」江寒笑問。

方源連連搖頭:「我這種只會讀書學習的,怎麼可能有友?」

「那是有什麼好事了?」

方源點頭,握雙拳:「老闆,我功了!」。

猜你喜歡

分享

複製如下連結,分享給好友、附近的人、Facebook的朋友吧!
複製鏈接

問題反饋

反饋類型
正在閱讀: