导语为了帮助学生学习统计力学的基本原理及其在理解神经网络内部工作原理的应用，在2022年9月到2023年6月，中山大学、PMI Lab管理人黄海平教授组织了《神经网络的统计力学》在线课程，为了庆祝课程完整上线1年，让更多的人学习课程的优质内容，我们对课程价格进行了调整，具体方案见下文。同时从2024年6月17日起，我们将正式开启一个全新的主题读书会「」，站在复杂科学的视角，看复杂系统的理论如何指导AI的设计，以及如何将AI看成一个复杂系统来研究。其中统计物理是一个关键视角。本次读书会的发起人包括加利福尼亚大学圣迭戈分校助理教授尤亦庄、北京师范大学副教授刘宇、北京师范大学系统科学学院在读博士张章、牟牧云和在读硕士杨明哲、清华大学在读博士田洋，发起人团队将带领大家从不同的视角呈现复杂系统的研究成果以及与AI如何融合，包括作为复杂系统的AI大模型、生命复杂性视角、统计物理视角、复杂网络视角、信息论视角、复杂系统的临界性视角等。欢迎大家参与讨论。课程介绍统计物理方法是一座架起微观作用到宏观涌现的桥梁，2021年诺贝尔物理学奖得主帕里西在无序系统方面作出开创之举，他提出复本对称破缺方法解决自旋玻璃问题，这一方法也对神经网络等交叉学科产生深厚影响，激发学者对人工智能和人脑等复杂系统的进一步研究。本系列课程系统性地讲解统计力学的基本原理及其在理解神经网络内部工作原理的应用，包括用于理解神经网络原理的必要统计力学知识，包括复本方法、空腔方法、平均场近似、变分法、随机能量模型、Nishimori条件、动力学平均场理论、对称性破缺、随机矩阵理论等，同时详细描述了监督学习、无监督学习、联想记忆网络、感知器网络、随机循环网络等神经网络及其功能的物理模型以及解析理论。内容以黄海平老师的书籍《Statistical Mechanics of Neural Networks》为参考文献。课程培养目标：培养一批有望在神经网络理论深耕的青年学者（侧重学生）。课程大纲：第 1 讲：《神经网络的统计力学》绪论第2-3讲：自旋玻璃模型简介和空腔法第 4 讲：变分平均场理论与信念传播第5-6讲：蒙特卡罗方法第 7 讲：高温展开第8-9讲：西森线、贝叶斯最优估计与随机能量模型第10-12讲：Hopfield模型的统计物理第13-15讲：复本对称与破缺第16-17讲：受限制玻尔兹曼机的统计力学第 18 讲：无监督学习的最简模型：序如何从学习数据自发涌现第19-20讲：无监督学习的内禀对称性破缺第 21 讲：监督学习的统计物理“标准模型”：算法、存储、分类与几何第 22 讲：监督学习的最优贝叶斯框架：算法与相变第 23 讲：物理启发的深度学习算法：随机路径激发、系综元学习与模式分解第 24 讲：深度表示空间的几何变换：一种精确的物理近似第 25 讲：脉冲神经网络与兴奋抑制平衡理论：平均场理论对脑科学的一次伟大胜利第 26 讲：动力学平均场理论与混沌相变：索普林斯基遇见薛定谔第 27 讲：随机矩阵之厄米篇：爱德华兹遇见伊辛第 28 讲：随机矩阵之非厄米篇：索普林斯基遇见麦克斯韦课程负责人黄海平，中山大学物理学院教授。本科毕业于中山大学理工学院，博士毕业于中国科学院理论物理研究所，随后在香港科技大学物理系、东京工业大学计算智能系 (2012年获日本学术振兴会资助) 以及日本理化学研究所 (RIKEN) 脑科学中心从事统计物理与机器学习、 神经计算交叉的基础理论研究，2017年因在无监督学习方面的研究获得 RIKEN 杰出研究奖。于2018年入选中山大学百人计划，在物理学院组建了“物理、机器与智能” （PMI）研究小组，专注于各种神经计算的理论基础，长期目标是使用基于物理的近似来揭示机器及大脑智能的基本原理。曾主持国家自然科学基金两项。PMI Lab：https://www.labxing.com/hphuang2018加入课程，开始学习为了庆祝课程完整上线1年，让更多的人体验学习课程的优质内容，我们特做出如下优惠方案：1.价格调整为49元；2. 同时对于2个月内（2024年4月15日-至今）购买本课程的用户，将返还价值200元的积分到账户，可以用户消费（不可提现）；3. 加入「」读书会的成员，开放4个月课程学习权限（2024年7月-10月）。扫码付费报名课程课程链接：https://campus.swarma.org/course/4543?from=wechat第一步：扫码付费第二步：在课程详情页面，填写“学员信息登记表”第三步：扫码添加助教微信，入群本课程可开发票。课程负责人黄海平的评论文章：核心参考书籍Huang H. Statistical mechanics of neural networks[M]. Springer, 2021.神经网络的统计力学（英文版）,黄海平,高等教育出版社,2022.08本书通过简洁的模型展示了神经网络原理的数学美和物理深度，并介绍了相关历史和展望未来研究的重要课题，可供对神经网络原理感兴趣的学生、研究人员以及工程师阅读参考。书籍目录（详版）：Chapter 1: IntroductionChapter 2: Spin Glass Models and Cavity Method2.1 Multi-spin Interaction Models2.2 Cavity Method2.3 From Cavity Method to Message Passing AlgorithmsChapter 3: Variational Mean-Field Theory and Belief Propagation3.1 Variational Method3.2 Variational Free Energy3.3 Mean-Field Inverse Ising ProblemChapter 4: Monte Carlo Simulation Methods4.1 Monte Carlo Method4.2 Importance Sampling4.3 Markov Chain Sampling4.4 Monte Carlo Simulations in Statistical PhysicsChapter 5: High-Temperature Expansion5.1 Statistical Physics Setting5.2 High-Temperature Expansion5.3 Properties of the TAP EquationChapter 6: Nishimori Line6.1 Model Setting6.2 Exact Result for Internal Energy6.3 Proof of No RSB Effects on the Nishimori LineChapter 7: Random Energy Model7.1 Model Setting7.2 Phase DiagramChapter 8: Statistical Mechanical Theory of Hopfield Model8.1 Hopfield Model8.2 Replica Method8.3 Phase Diagram8.4 Hopfield Model with Arbitrary Hebbian LengthChapter 9: Replica Symmetry and Replica Symmetry Breaking9.1 Generalized Free Energy and Complexity of States9.2 Applications to Constraint Satisfaction Problems9.3 More Steps of Replica Symmetry BreakingChapter 10: Statistical Mechanics of Restricted Boltzmann Machine10.1 Boltzmann Machine10.2 Restricted Boltzmann Machine10.3 Free Energy Calculation10.4 Thermodynamic Quantities Related to Learning10.5 Stability Analysis10.6 Variational Mean-Field Theory for Training Binary RBMsChapter 11: Simplest Model of Unsupervised Learning with Binary11.1 Model Setting11.2 Derivation of sMP and AMP Equations11.3 Replica Computation11.4 Phase Transitions11.5 Measuring the Temperature of DatasetChapter 12: Inherent-Symmetry Breaking in Unsupervised Learning12.1 Model Setting12.2 Phase Diagram12.3 Hyper-Parameters InferenceChapter 13: Mean-Field Theory of Ising Perceptron13.1 Ising Perceptron model13.2 Message-Passing-Based Learning13.3 Replica AnalysisChapter 14: Mean-Field Model of Multi-layered Perceptron14.1 Random Active Path Model14.2 Mean-Field Training Algorithms14.3 Spike and Slab ModelChapter 15: Mean-Field Theory of Dimension Reduction in Neural Networks15.1 Mean-Field Model15.2 Linear Dimensionality and Correlation Strength15.3 Dimension Reduction with Correlated SynapsesChapter 16: Chaos Theory of Random Recurrent Neural Networks16.1 Spiking and Rate Models16.2 Dynamical Mean-Field Theory16.3 Lyapunov Exponent and Chaos16.4 Excitation-Inhibition Balance Theory16.5 Training Recurrent Neural NetworksChapter 17: Statistical Mechanics of Random Matrices17.1 Spectral Density17.2 Replica Method and Semi-circle Law17.3 Cavity Approach and Marchenko17.4 Spectral Densities of Random Asymmetric MatricesChapter 18: PerspectivesAI By Complexity读书会招募中集智俱乐部联合加利福尼亚大学圣迭戈分校助理教授尤亦庄、北京师范大学副教授刘宇、北京师范大学系统科学学院在读博士张章、牟牧云和在读硕士杨明哲、清华大学在读博士田洋共同发起，探究如何度量复杂系统的“好坏”？如何理解复杂系统的机制？这些理解是否可以启发我们设计更好的AI模型？在本质上帮助我们设计更好的AI系统。读书会于6月10日开始，每周一晚上20:00-22:00举办。欢迎从事相关领域研究、对AI+Complexity感兴趣的朋友们报名读书会交流！详情请见：
