消费级GPU成功运行1760亿参数大模型

在消费级GPU上运行大规模模型是机器学习社区正面临的挑战。语言模型的规模一直在变大，PaLM有540B参数，OPT、GPT-3和BLOOM有大约176B参数，模型还在朝着更大的方向发展。​这些模型很难在易于访问的设备上运行。例如，BLOOM-176B需要在8个80GBA100GPU（每个约15000美元）上运行才能完成...

2023-04-28

​如何让AI具有通用能力？新研究：让它睡觉

神经网络可以在很多任务上有超越人类的表现，但如果你要求一个 AI 系统吸收新的记忆，它们可能会瞬间忘记之前所学的内容。现在，一项新的研究揭示了神经网络经历睡眠阶段并帮助预防这种健忘症的新方法。人工神经网络面临的一个主要挑战是「灾难性遗忘」（catastrophic forgetting）。当它们去学习一项新任务时，就有...

2023-04-12