AI 在1月9日被广泛讨论

深入研究聊天机器人,探讨GPT-4内部架构的推测,包括所谓的“专家混合”,或称为“MoE”。文章还提到一些开源模型,例如Mistral,也采用了相同的方法。作者:Eric Risco。

· 教育部架构引入了一种范式转变,改变了神经网络的结构和操作方式。传统上,像GPT-3这样的模型是密集的,意味着神经网络的每个部分都参与处理每一部分信息。虽然有效,但这种方法在计算上非常耗费资源,而且效率较低,特别是在模型规模增大的情况下。

· 然而,教育部的模型采用了一种不同的策略。与使用单一而密集的网络不同,教育部将模型分成几个子模型或“专家”,每个专家专门负责不同的任务或数据处理方面。这种结构可实现更加精准和高效的计算,因为只有与输入性质相关的专家会被激活。

依然在ChatGPT上,Google研究人员发现了漏洞。在《DataDrivenInvestor》的文章中描述了这次攻击,原始论文在此处,标题为“从(生产)语言模型中可扩展提取训练数据”。根据论文内容:

Source: Published research paper

并且,优化您的修饰词以实现期望的输出,在您希望为您的创作达到特定长度或风格时非常有用。以下是Jordan Gibbs的实验结果的输出:

Source: Jordan Gibbs

并且如果你能够访问《纽约时报》,可以深入了解2024年人工智能将给我们带来的变革。Cade Metz关注以下领域:

· 即时视频

· 多模式聊天机器人

· 更好的推理

· 人工智能代理

· 更智能的机器人

在政策领域,对加利福尼亚州关于K-12人工智能政策的审视,这是仅有的两个发布此类指导的州之一。来自"Axios:"

  • 只有加利福尼亚和俄勒冈为当前学年提供了官方建议。
  • 加州教育部门建议人工智能可以增强学习,同时承认潜在的伦理、偏见、不准确性或数据隐私风险,Axios的凯特·墨菲报道。
  • 它概述了加利福尼亚学校如何运用人工智能,包括为教师开发计划和工作流工具,以及为具有不同能力或语言障碍的学生提供个性化学习材料。

此外,在政策方面,《重新定义人性》一书通过康拉德·格雷(Conrad Gray)的深入探讨,向我们展示了在即将到来的选举周期中错误信息的风险以及如何保护自己。这个主题最近也在《纽约时报》的一篇文章中进行了探讨,该文章详细介绍了网络骚扰和4chan。开源工具的广泛使用只会增加这种威胁。但是,更令人振奋的是:

伊利诺伊州扩大了其有关复仇色情的法律,允许非自愿由人工智能系统生成的色情作品的受害者对创作者或分发者提起诉讼。加利福尼亚州、弗吉尼亚州和纽约州也通过了禁止未经同意分发或创造人工智能生成色情作品的法律。

2024-01-10 04:47:59 AI中文站翻译自原文