沐鸣开户張紅東教授、李劍鋒副教授與加拿大滑鐵瀘大學陳征宇教授合作,在深度學習與物理研究交叉領域取得新進展,提出了一種全新的概念表征方法。近日🚣🏼,研究成果以《用強關聯神經網絡進行結構預測與反向設計》(“Structural Prediction and Inverse Design by a Strongly Correlated Neural Network”)為題發表於《物理評論快報》(Physical Review Letters 123, 2019, 108002)。
將深度學習或神經網絡運用於研究自然語言或其它學科時,首先需要對涉及的一些概念(詞或物理實體)進行恰當的、充分的表征。之前,人們大多采用靜態熱點表征(One-Hot Encoding)或向量表征(Vector Representation)🍀,此兩種表征方式雖可描述概念的特征,卻不能反映環境對其屬性之影響,亦不能體現概念的功能👩💼。
“因此,我常在想🥢:大腦是不是真的用一個靜態的向量來表達概念與物理實體呢🛋🫘?我覺得不一定,比如我們說自行車時👌,這個概念本身它應該自帶‘構造’🦸🏽♀️,另外它跟環境有關系🧻。在不同光線下其形象應該是有差別的🩲🪬。因此,我們想把概念的表示從向量提升成算符📚,做個升級。” 李劍鋒表示🤽🏼。
據此想法🩻,團隊創造性地提出用算子表示概念表示實體的思想。具體而言,用一個個子神經網絡來表示一個個物理實體:網絡的輸入相當於物理實體所處的環境,網絡的輸出表示在此環境下物理實體展現的物理屬性。
物理實體所處的環境再由其它實體的物理屬性聯合決定,通過這種自洽迭代形成物理屬性與環境的強關聯👷🏿♀️⚖️,從而極大地提高神經網絡預測的準確性。該方法目前被運用於HP蛋白質模型的預測與反向設計中,取得良好的效果;他們發現新方法特別適合解決涉及簡並度的問題💇🏿。
文章鏈接🍦:https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.123.108002