深度學習2.0來了馬斯克點讚Kimi技術報告：稱其研究令人印象深刻

體育資訊3月17日稱 16日月之暗麵Kimi發布技術報告，對大模型十年沒有變化的核心結構殘差連接行重新設計，使每一層能夠選擇性地關注此前各層輸出，而非統一求和，48B模型訓練效率提升1.25倍，被行業解讀為提前預告了下一代模型的關鍵模塊。

月之暗麵三位聯合創始人楊植麟、吳育昕、周昕宇帶領數十名研究員完成了這項研究。

論文發布後，馬斯克評價Kimi的研究令人印象深刻，前OpenAI研究科學家Andrej Karpathy表示該研究真正踐行了“Attention is All You Need”的理念，推理之父、前OpenAI研究副總裁Jerry Tworek認為，深度學習2.0來了。（澎湃新聞）