言情小说吧_好看的小说免费阅读_红袖添香 - 阅文集团旗下网站

首頁 科幻

我來自神級文明

第五章,不被時代所局限

我來自神級文明 顏山寺 2434 2019-08-03 18:15:00

  趙楠泡好茶,給每人分了一杯,“都別恭維了,來來來,喝茶。”

  “正好口渴了。”陳然道了聲謝,一口干了功夫茶。趙楠見他這牛嚼牡丹的樣子,卻一點也不心痛自己的大紅袍,笑瞇瞇的又給他續上,還小心囑咐,“慢點,別燙到了。”

  正宗的武夷山紅茶,色澤潤紅,清、香、甘、活,陳然喝到精華的第二、三泡,也慢了下來。

  此時也有談話的氣氛,李開來就評價了陳然的那篇論文,“用混合系數結構化地擴大卷積神經網絡的規模,簡單高效,不僅超越了原來的精度,調參也降到原來的9.2%。”

  訓練一個神經網絡,調參是最重要的工作,沒有捷徑可走,唯一的區別是,新手盲目嘗試,高手靠經驗,陳然則是有未來的成熟理論指導,思路清晰,手段精準。

  “我記得你之前還有一篇論文,好像是《AdaBound神經網絡優化算法》?”趙楠見陳然點頭,就問道:“那個也可以節省大量調參時間,兩者有什么區別?”

  “哈哈,本質上的不同。”李開來拍手大笑。

  陳然沒有笑,認真解釋了一句,“AdaBound是結合隨機梯度下降和自適應矩估計,訓練前期比較快速,后期又有很好的收斂性,對超參數不敏感。”

  “混合系數縮放CNN的卷積核大小、個數,卷積層數等各個維度,主要是為了提升模型性能。”李開來抿了一口茶,再進行補充,“一個是整體架構,另一個是算法優化。”

  “哦,這樣啊。”趙楠尷尬了片刻,又爽朗一笑,自嘲道:“管理崗位待久了,學問荒廢了不少……”

  “我注意到,你論文中的卷積運算也不太一樣。”李開來想了想,打了個比方,“像是壓縮圖片一樣,對卷積進行了壓縮?”

  在計算機中,圖像由像素點組成,用卷積核(最少3*3)比較圖像鄰近像素相似性,提取局部特征,比如邊緣信息、顏色深淺……在運算時,傳統卷積是不加以區分的。

  “圖像中存在大量低頻信息,其實不用過多關注。”陳然舉了個例子,“比如大熊貓,它身上毛色相近、背景色變緩慢的部分。壓縮這些近似區域,可以減少算力消耗。”

  神經網絡的功能和規模成正比,隱藏層或者神經元數量增加,運算量也會線性暴增。隨著AI走向成熟,算力要求也越來越高,是整個領域都要頭疼的大事。

  “這樣一來,參數少了十倍,速度又至少是其他CNN的兩倍,準確性還有提高。”李開來感慨,很是服氣,“早上我看到Hinton發推宣傳你的論文,影響力很大啊。”

  “混合系數縮放的效果很依賴基線網絡CrNet-a1。”陳然自信的一笑,他在設計CrNet-a1架構時,很注意簡單、干凈,以及遷移學習能力,為的就是廣泛傳播。

  “我看到你對神經網絡的使用,極有開創性。”自稱學問不行的院長趙楠,卻有獨到精深的見解,“跟你之前的論文,《P對NP問題》有關聯的吧?”

  呃……

  談到這個,陳然就摸了摸鼻子,有點尷尬。

  P對NP問題一直困擾著數學界,位列七大千禧難題之首,同時也是計算機科學領域的圣杯,關系到計算機完成一項任務的速度到底有多快。

  三年前,陳然無意證明了它,還順手投到了《數學年刊》……

  說實話,陳然當時只是覺得P對NP難了點,居然卡了自己一個星期,有點意思,值得發一篇paper。

  但他完全低估了千禧難題的受重視程度,不僅克雷數學研究所懸賞一百萬美金,號稱數學界諾貝爾的菲爾茲獎也是虛位以待,很快轟動整個學術圈,成為大家關注的焦點。

  由于證明用到了多個數學領域的原理,需要各個領域的頂尖專家進行同行評審,出于學術的嚴謹性,暫時還沒有結論……

  但顯而易見,輔腦就沒有錯誤的知識!

  問題是15歲,破解千禧難題……

  這也太驚世駭俗了!

  每每想起來,陳然都有些不堪回首,沒經驗啊,年少輕狂!

  面對趙楠殷切的目光,陳然很不好意思,“神經網絡本質是數學建模,存在大量并行計算,P對NP的解決有助于調整網絡結構,進一步優化性能。”

  新一代神經網絡?

  李開來和趙楠相視一眼,悚然動容。

  神經網絡從來不是完美的,從無法解決異或問題、到龐大復雜的計算量,再到梯度消失和梯度爆炸,速度慢,效果差,兩度進入寒冬。

  70年代以后的很長一段時間,學術期刊看到“神經網絡”四個字,就直接當成垃圾拒稿,逼得神經網絡之父Hinton將名字改成“深度學習”,才得以突圍。

  簡單的理解,深度學習(其實還是神經網絡)之于AI,等同于地基和大廈,它的進一步完善,將直接推動AI在各個應用領域的推廣,意義堪比核彈!

  趙楠知道陳然不會撒謊,他吞了吞口水,問道:“什么時候整理出來發表?”

  這可是明晃晃的學術榮譽啊,也是江大的政績。

  輔腦當然有成熟的強智能神經網絡,但是整理發表,還是系統的?

  陳然就呵呵了,“緩兩年吧。”

  開什么玩笑,小時候不懂事,貿然解決P對NP,已經夠陳然后悔的了。

  這可是強智能的核心規則!

  要知道,人工智能是全球范圍內的科研競賽,所有人奮力爭先,理論再領先,最終還要靠強大的算力來落實。

  然而在芯片領域,華國與西方的差距不是一般的大……

  實際上,強智能神經網絡已經被陳然實現,發論文只是煙霧彈,稍微展露一點皮毛,通告、迷惑一下對手。

  公開就是資敵,放棄AI的壟斷利潤,跟二傻子有什么區別?

  趙楠醒悟過來,就遺憾的不再追問。

  話題又回到深度學習,陳然選擇能說的部分,剛開始三人還有來有往,但隨著問題逐漸深入,李開來也慢慢感到吃力,和趙楠一樣,坐在那里插不上嘴……

  陳然對神經網絡的模型、調參、訓練、低可解釋性……目前很多根本性難題,都有獨到和開創性的解決思路,這讓趙楠和李開來大開眼界的同時,也是心神巨震!

  把陳然送走后,李開來大發感慨,“太厲害了,見面更勝聞名!他在神經網絡肯定有極大的突破,后生可畏,后生可畏啊!”

  “你不看看他是什么人?學術宗師、首富之子,起點太高了!”趙楠嘆息又羨慕,“自從陳然進入人工智能領域,兩位教授不僅大把撒錢,還給他拉攏半個華國的人脈!”

  “人和人不能比,也沒法兒比!”李開來搖頭苦笑,繼而嘆服,“這個陳然,以后絕對是人工智能的領軍人,搞不好要開創一個時代!”

  “哈哈!還用你說?”趙楠得意無比,笑得像只偷了雞的狐貍,“當初陳然上大學,燕大、五道口……多少高校爭得面紅耳赤,差點打起來!哈哈,最終還不是江大力壓群雄?!”

  一般人搶著上名校,是給自己鍍金,但有些人不同,他們能給名校鍍金。

  什么千軍萬馬過獨木橋?

  不存在的。

  陳然是名校寧可撕破臉,也要全力去搶的學生。

顏山寺

參考論文:Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave Convolution;   EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks。

按 “鍵盤左鍵←” 返回上一章  按 “鍵盤右鍵→” 進入下一章  按 “空格鍵” 向下滾動
目錄
目錄
設置
設置
書架
加入書架
書頁
返回書頁
指南
主站蜘蛛池模板: 阿克陶县| 肇源县| 卢湾区| 巴东县| 寻甸| 铜鼓县| 乐至县| 信阳市| 汕头市| 吐鲁番市| 高唐县| 利川市| 蓬莱市| 仲巴县| 台南县| 德惠市| 额尔古纳市| 惠州市| 淮安市| 无锡市| 新营市| 康平县| 西城区| 日土县| 彭泽县| 安平县| 伊宁市| 邵阳县| 闻喜县| 塔城市| 赞皇县| 石首市| 辽阳市| 昌江| 昭平县| 密云县| 宝应县| 泾川县| 营口市| 萝北县| 宁乡县|