https://quartz.jzhao.xyz Last 10 notes on Quartz 4 Quartz -- quartz.jzhao.xyz https://quartz.jzhao.xyz/030-Tutorials/Bioinfomatics-FMs/Bioinfomatics-FMs https://quartz.jzhao.xyz/030-Tutorials/Bioinfomatics-FMs/Bioinfomatics-FMs 生物信息学基础模型 今天讲讲 生物信息学中的其他的基础模型。 ref: Foundation models in bioinformatics | National Science Review | Oxford Academic这是一篇25年的综述。基础模型也是一个很新很新的东西，也是生信近两年的研究热点。 General FMs 基础模型（FM）代表大规模人工智能系统，这些系统首先在海量数据集上进行了广泛的预训练，从而能够应用于各种下游任务。FM 是通过在标记和未标记数据上训练神经网络来构建的，使其能够辨别基本模式并将知识泛化到新任务中。 通常来说，基础模型能够输出一个较为通用的表征（Em... Fri, 18 Apr 2025 05:22:46 GMT https://quartz.jzhao.xyz/030-Tutorials/Language-Model,-Attention-and-Transfosrmers/Language-Model,-Attention-and-Transfosrmers https://quartz.jzhao.xyz/030-Tutorials/Language-Model,-Attention-and-Transfosrmers/Language-Model,-Attention-and-Transfosrmers Language Model, Attention, Transfosrmers and AlphaFold 我本来是准备自己讲的，但我自己试了下，感觉自己怎么也讲不明白。在看了 3b1b 的视频之后，我觉得我一切的努力都是对 3b1b 的拙劣模仿，因此我选择开摆，这节课的前半部分，我们一起来看下 3b1b 讲解 语言模型，注意力机制和 Transformer 的神级视频。 不要觉得今天我们今天放视频就是水课了。我可以这么说：看懂这个视频是你学明白、学透彻这些知识的最好机会。没有任何一个教授能用这么直观、易于理解的方式给你把语言模型、attention机制和 Transformer 机制讲明白... Fri, 18 Apr 2025 05:22:46 GMT https://quartz.jzhao.xyz/Bioinfomatics-course-Tutorials https://quartz.jzhao.xyz/Bioinfomatics-course-Tutorials 上科大集群教学 深度学习实践 GNN 工程实践 Language Model, Attention and Transfosrmers Bioinfomatics FMs . Fri, 18 Apr 2025 05:22:46 GMT https://quartz.jzhao.xyz/030-Tutorials/GNN-Tutorial/GNN-%E5%B7%A5%E7%A8%8B%E5%AE%9E%E8%B7%B5 https://quartz.jzhao.xyz/030-Tutorials/GNN-Tutorial/GNN-%E5%B7%A5%E7%A8%8B%E5%AE%9E%E8%B7%B5 图神经网络工程实践 本体论与形而上学 什么是“本体论(ontology)”？ 叠甲：下面的这段有点扯淡的讨论完全是本人的一家之言，无参考文献，当我在乱说就行 可能很多人会很疑惑，我们一上来怎么在讲哲学？ 在研究图结构和知识图谱时，“本体论”这一概念经常被提及。本体论源于哲学领域，但在计算机科学中已发展出特定含义。 在计算机科学和信息科学中，本体论指的是对特定领域内概念、实体及其关系的形式化表达。它定义了概念的分类体系、属性特征以及实体间的关联方式。简单来说，本体论为我们提供了一个结构化的知识框架，使计算机能够”理解”特定领域中存在的对象类型及其相互关系。^[1] 形而上学与辩证法 形而上学作为... Fri, 18 Apr 2025 05:18:05 GMT https://quartz.jzhao.xyz/010-Blogs/A-Glimpse-into-the-Essence-of-Tumors-and-Cancer https://quartz.jzhao.xyz/010-Blogs/A-Glimpse-into-the-Essence-of-Tumors-and-Cancer 窥见肿瘤与癌症本质的一隅——听徐鹰先生报告有感 A Glimpse into the Essence of Tumors and Cancer: Reflections on Mr. Thu, 17 Apr 2025 10:57:23 GMT https://quartz.jzhao.xyz/010-Blogs/%E6%8E%A8%E6%96%87%E7%A8%BF https://quartz.jzhao.xyz/010-Blogs/%E6%8E%A8%E6%96%87%E7%A8%BF Q: 能否介绍一下这次比赛的赛题？ A: 这次比赛的赛题是因果推断。我可以用一个例子讲讲：我们已知一个因果关系——空气湿度的上升是“下雨”的一个原因。这时我们希望知道第三个变量，比如“冷暖气流交汇”与这个因果关系的关系。比如说，我们知道冷暖气流交汇往往会引起空气湿度的上升，同时也可以通过强对流直接引发降雨。那么“冷暖气流交汇”在这里就被叫做一个Confounder，即同时为“空气湿度上升”和“下雨”的原因。 我们这次比赛的目标就是预测这里的“第三个变量”的角色，将其视为一个分类任务。比如，我们拥有今年某地区一整年每一天的空气湿度、是否有冷暖气流交汇的现象、是否下雨的数据，我们就要基于这些数据来... Thu, 17 Apr 2025 10:57:23 GMT https://quartz.jzhao.xyz/010-Blogs/%E6%96%B0%E9%97%BB%E7%A8%BF-%E8%8E%B7%E5%BE%97ADIA-Lab-%E5%9B%A0%E6%9E%9C%E5%8F%91%E7%8E%B0%E6%8C%91%E6%88%98%E8%B5%9B%E7%AC%AC%E4%B8%89%E5%90%8D https://quartz.jzhao.xyz/010-Blogs/%E6%96%B0%E9%97%BB%E7%A8%BF-%E8%8E%B7%E5%BE%97ADIA-Lab-%E5%9B%A0%E6%9E%9C%E5%8F%91%E7%8E%B0%E6%8C%91%E6%88%98%E8%B5%9B%E7%AC%AC%E4%B8%89%E5%90%8D 上海科技大学计算机科学与技术专业2022级本科生，科道书院GeekPie社团成员洪沐天及其团队近日在ADIA Lab举办的因果发现竞赛中从全球近2000名参赛者中脱颖而出，获得第三名。 阿布扎比投资局（Abu Dhabi Investment Authority, ADIA）是全球第三大的主权基金，而 ADIA Lab 是阿布扎比投资局旗下专注于金融科技、数据分析和投资研究的创新实验室。该机构致力于通过先进的技术、前沿的数据科学和量化研究，为全球投资战略提供深刻洞见。ADIA Lab 以推动人工智能、机器学习和大数据在资产管理领域的应用为使命，汇聚全球顶尖人才，促进跨学科合作，助力全球金融生态... Thu, 17 Apr 2025 10:57:23 GMT https://quartz.jzhao.xyz/010-Blogs/%E7%AA%A5%E8%A7%81%E8%82%BF%E7%98%A4%E4%B8%8E%E7%99%8C%E7%97%87%E6%9C%AC%E8%B4%A8%E7%9A%84%E4%B8%80%E9%9A%85%E2%80%94%E2%80%94%E5%90%AC%E5%BE%90%E9%B9%B0%E5%85%88%E7%94%9F%E6%8A%A5%E5%91%8A%E6%9C%89%E6%84%9F https://quartz.jzhao.xyz/010-Blogs/%E7%AA%A5%E8%A7%81%E8%82%BF%E7%98%A4%E4%B8%8E%E7%99%8C%E7%97%87%E6%9C%AC%E8%B4%A8%E7%9A%84%E4%B8%80%E9%9A%85%E2%80%94%E2%80%94%E5%90%AC%E5%BE%90%E9%B9%B0%E5%85%88%E7%94%9F%E6%8A%A5%E5%91%8A%E6%9C%89%E6%84%9F A Glimpse into the Essence of Tumors and Cancer 窥见肿瘤与癌症本质的一隅——听徐鹰先生报告有感 之前的观点：基因突变 从高中了解肿瘤与癌症开始，我便被教导：细胞基因中原癌基因与抑癌基因的突变是肿瘤与癌症产生的原因。原癌基因控制细胞的增殖，抑癌基因避免细胞发生不受控制的增殖。假如抑癌基因失效发生突变，那么细胞将会产生癌变。人体内有30多万亿 (3 * 10^19)个细胞，而每天，我们会产生和死亡数十亿(10^10)个细胞。单个基因在每次细胞分裂中发生突变的概率大约是 10^{-6}\sim 10^{-8} 之间，而人类基因组有约两万个基因。也就是说... Thu, 17 Apr 2025 10:57:23 GMT https://quartz.jzhao.xyz/030-Tutorials/DeepLearning-Tutorial/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E5%AE%9E%E8%B7%B5 https://quartz.jzhao.xyz/030-Tutorials/DeepLearning-Tutorial/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E5%AE%9E%E8%B7%B5 从代码入手 光速入门深度学习 常规深度学习流程图 常规的、多数情况下的深度学习的流程框架可以被抽象为上方这个流程图。 首先，我们准备输入数据。输入数据一般被处理为成向量，然后输入模型，输出预测。预测的结果与真实标签通过损失函数计算得出损失，最后损失反向传播，更新模型参数。 下面我们从一个示例代码开始，快速带同学们入门深度学习。 import import config import random, shutil, os import matplotlib.pyplot as plt import torch import torch.nn as nn import torch.nn.funct... Thu, 17 Apr 2025 10:57:23 GMT https://quartz.jzhao.xyz/030-Tutorials/Interpretation-of-the-Curriculum-Plan/ShanghaitechCS%E5%9F%B9%E5%85%BB%E6%96%B9%E6%A1%88%E8%A7%A3%E8%AF%BB https://quartz.jzhao.xyz/030-Tutorials/Interpretation-of-the-Curriculum-Plan/ShanghaitechCS%E5%9F%B9%E5%85%BB%E6%96%B9%E6%A1%88%E8%A7%A3%E8%AF%BB 2024级本科生培养方案 (shanghaitech.edu.cn) 各位同学大家好啊，我是你们22级学长。今天视频带大家看一下24级的CS的培养方案。当然如果你是别的专业的同学，也可以进行一些参考，学会怎么去看你们的培养方案。我也会讲一些和往届的差异，避免同学可能会被不了解新培养方案的学长带偏。 总览：什么是培养方案 简单来说，按照培养方案修读完成，你才能够毕业。 培养方案中，告诉你了：你要怎么去规划修读课程，才能够完成毕业要求。 培养方案中的课程首先可以被分为必修课程和选修课程两大类。其中必修课程，字面意思，必须都要上。选修课程一般是某一个课程群的选修课程，你可以在这个课程群中自由地选修一... Thu, 17 Apr 2025 10:57:23 GMT