1.模型越大，性能越好？苹果自回归视觉模型AIM：没错

过去几年，大规模预训练模型在 NLP 领域取得了成功，这类模型可以通过几个示例解决复杂的推理任务，也可以按照指令进行推理。

众所周知的是，预训练模型能取得成功的一个理论基础是，随着容量（即参数量）或预训练数据量的增加，模型能够不断提升性能。

这很自然地引发了研究者们的联想：使用自回归目标对 Transformers 进行缩放的成功是否仅限于文本？

在最新的一篇论文《Scalable Pre-training of Large Autoregressive Image Models》中，苹果的研究者提出了自回归图像模型（AIM），探讨了用自回归目标训练 ViT 模型是否能在学习表征方面获得与 LLMs 相同的扩展能力。

论文链接：https://arxiv.org/pdf/2401.08541.pdf

项目地址：https://github.com/apple/ml-aim

2.新一代注意力机制Lightning Attention-2：无限序列长度、恒定算力开销、更高建模精度

大语言模型序列长度的限制，极大地制约了其在人工智能领域的应用，比如多轮对话、长文本理解、多模态数据的处理与生成等。造成这一限制的根本原因在于当前大语言模型均采用的 Transformer 架构有着相对于序列长度的二次计算复杂度。这意味着随着序列长度的增加，需要的计算资源成几何倍数提升。如何高效地处理长序列一直是大语言模型的挑战之一。

论文：Lightning Attention-2: A Free Lunch for Handling Unlimited Sequence Lengths in Large Language Models

论文地址：https://arxiv.org/pdf/2401.04658.pdf

开源地址：https://github.com/OpenNLPLab/lightning-attention

3.微软 CEO 纳德拉：未来，每个软件类别、生产力、操作系统、浏览器都将合并在一起，Copilot 将是微软真正的 AI 产品

纳德拉表示，过去 70 年计算机领域在 GUI 领域的沉淀，与今天基于自然语言的推理引擎融合，这将是一个新的用户界面，更加直观，基于自然语言，但多模态、多轮次、多领域，以及一个推理引擎，几乎每个软件类别，什么是生产力，什么是操作系统，什么是浏览器，从某种意义上都将合并在一起。

新版本Windows的一些重要更新细节：超过 150 项新功能将协助用户更轻松地创建、更快速地完成任务以减轻日常工作负担，使复杂的任务变得简单。其中包括 Copilot 整合、新的 Outlook for Windows、利用AI强化的Paint 和 Photos 新功能、更新的Clipchamp、Notepad、现代化的档案管理，以及 Narrator 中的新自然语音，使其更易于使用并增强生产力。微软将以 Windows 展现“最佳 AI 体验”为终极目标，这些更新将自9月26日开始，随着 Windows 11 的最新版本 22H2 推出。