报告摘要：

中华文化上下５千年，我们的古代圣贤认为：文章应该一气呵成，不分句，不分段。无独有偶，自监督学习典范GPT / BERT也是这么训练的。我们证明标点符号含有大量的语义信息。对它们进行索引编码，我们全面改进了BERT / GPT在各项任务中的表现，这个工作将发表在AAAI’21。

然后我们转而讨论自监督学习和零次学习的理论基础。我们从基本的热力学公理出发，推出一个信息距离理论。这个理论为自监督学习和零次学习提供了一个新视角和新方法。

报告人简介：

李明

加拿大皇家科学院院士，滑铁卢大学教授。在美国康奈尔大学获得博士学位，哈佛大学博士后。曾执教Ohio州立大学，哈佛大学。2010年获得加拿大顶级国家科学奖Killiam Prize（迄今是唯一华人获得此奖）。现为加拿大滑铁卢大学教授，Canada Research Chair (Tier I)，ACM和IEEE 的Fellow，Killiam Fellowship和E.W.R. Steacie Fellowship，教育部长江讲座教授，清华大学客座教授，北京大学客座教授。研究Kolmogorov复杂性的世界权威专家，在研究机器学习，自然语言处理，算法平均复杂度、信息距离，和生物信息学方面解决了多个几十年未解难题，开创了新的研究领域，做出了重大贡献。在Nature, Nature Methods, Nature Machine Intelligence, PNAS, Scientific American, J.ACM, CACM, FOCS, STOC 等杂志会议发表过许多有影响的文章。著作“An introduction to Kolmogorov complexity and its applications”已经出了第4版，在Amazon.com上被读者评为5星，在世界上被誉为经典，广为引用，获得了McGuffey Longevity Award。近期工作覆盖了个体化癌症免疫治疗，自然语言处理，深度学习，针对新冠病毒中和抗体的测序。