LLM 不错比科学家更准确地预计神经学的商量效力！

最近，来自伦敦大学学院、剑桥大学、牛津大学等机构的团队发布了一个神经学专用基准BrainBench，登上了 Nature 子刊《当然东谈主类行为（Nature human behavior）》。

效力露馅，经由该基准熟谙的 LLM 在预计神经科学效力的准确度方面高达81.4%，远超东谈主类群众的 63%。

在神经学常见的 5 个子范围：行为 / 融会、细胞 / 分子、系统 / 回路、神经疾病的神经生物学以及发育 / 塑性和开拓中，LLM 的阐述也王人全场地着手了东谈主类群众。

更勤劳的是，这些模子被证明关于数据莫得赫然的驰念。

也即是说，它们还是掌持了一般科研的开阔情势，不错作念更多的前瞻性（Forward-looking）预计、预计未知的事物。

这立马激勉科研圈的围不雅。

多位考验和博士后博士后也暗意，以后就不错让 LLM 襄助判断更多商量的可行性了，nice！

LLM 预计才智全面越过东谈主类群众

让咱们先来望望论文的几个勤劳论断：

总体效力：LLMs 在 BrainBench 上的平均准确率为 81.4%，而东谈主类群众的平均准确率 63.4%。LLMs 的阐述权臣优于东谈主类群众

子范围阐述：在神经科学的几个勤劳的子范围：行为 / 融会、细胞 / 分子、系统 / 回路、神经疾病的神经生物学以及发育 / 塑性和开拓中，LLMs 在每个子范围的阐述均优于东谈主类群众，绝顶是在行为融会和系统 / 回路范围。

模子对比：较小的模子如 Llama2-7B 和 Mistral-7B 与较大的模子阐述畸形，而聊天或教唆优化模子的阐述不如其基础模子。

东谈主类群众的阐述：大大宗东谈主类群众是博士学生、博士后商量员或教职职工。当摈弃东谈主类反应为自我敷陈专科常识的最高 20% 时，准确率飞腾到 66.2%，但仍低于 LLMS。

置信度校准：LLMs 和东谈主类群众的置信度王人校准精深，高置信度的预计更有可能是正确的。

驰念评估：莫得迹象标明 LLMs 驰念了 BrainBench 技俩。使用 zlib 压缩率和困惑度比率的分析标明，LLMs 学习的是平淡的科学情势，而不是驰念熟谙数据。

全新神经学基准

本论文的一个勤劳孝顺，即是建议了一个前瞻性的基准测试BrainBench，不错稀零用于评估 LLM 在预计神经科学效力方面的才智。

那么，具体是何如作念到的呢？

数据收罗

着手，团队行使 PubMed 赢得了 2002 年至 2022 年间 332807 篇神经科学商量关连的撮要，从 PubMed Central Open Access Subset（PMC OAS）中索求了 123085 篇全文著作，合计 13 亿个 tokens。

评估 LLM 和东谈主类群众

其次，在上头收罗的数据的基础上，团队为 BrainBench 创建了测试用例，主要通过修改论文撮要来达成。

具体来说，每个测试用例包括两个版块的撮要：一个是原始版块，另一个是经由修改的版块。修改后的撮要会权臣改动商量效力，但保持合座连贯性。

测试者的任务是遴荐哪个版块包含本体的商量效力。

团队使用 Eleuther Al Language Model EvaluationHaress 框架，让 LLM 在两个版块的撮要之间进行遴荐，通过困惑度（perplexity）来讨论其偏好。困惑度越低，暗意模子越可爱该撮要。

对东谈主类群众行为的评估亦然在疏通测试用例上进行遴荐，他们还需要提供自信度和专科常识评分。最终参与施行的神经科学群众有 171 名。

施行使用的 LLM 是经由预熟谙的 Mistral-7B-v0.1 模子。通过 LoRA 技巧进行微调后，准确度还能再增多 3%。

评估 LLM 是否纯驰念

为了讨论 LLM 是否掌持了念念维逻辑，团队还使用 zlib 压缩率和困惑度比率来评估 LLMs 是否驰念了熟谙数据。公式如下：

其中，ZLIB（X）暗意文本 X 的 zlib 压缩率，PPL（X）暗意文本 X 的困惑度。

部分商量者觉得只可作为赞助

这篇论文向咱们展示了神经科学商量的一个新认识，能够改日在前期探索的时间，神经学群众王人不错借助 LLM 的力量进行初步的科研想法筛选，剔除一些在重要、布景信息等方面存在赫然问题的忖度等。

但同期也有好多商量者对 LLM 的这个用法暗意了质疑。

有东谈主觉得施行才是科研最勤劳的部分，任何预计王人没什么必要：

还有商量者觉得科研的重心可能在于精准的讲解。

此外，也有网友指出施行中的测试重要只探究到了浅易的AB 假定检会，真正商量中还有好多波及到平均值 / 方差的情况。

合座来看，这个商量关于神经学科研责任的发展还黑白常有启发真谛的，改日也有可能扩张到更多的学术商量范围。

商量东谈主员们何如看呢？

参考麇集：

[ 1 ] https://www.nature.com/articles/s41562-024-02046-9#author-information

[ 2 ] https://github.com/braingpt-lovelab/BrainBench体育游戏app平台