摘要：在使用时，总是会理解真正的智能离线以及制作说明。作者| Li Yuan编辑|过去两年中，郑Xheng Xuan在AI模型上的故事围绕两个版本：无所不能的云和想象中的结尾。这是一次行业计划，并且经过广泛的估计：光模型功能的持续改进导致AI避免了云的局限性，并实现了个人智能，而个人智能在所有设备上永远不会脱节。但是，在骚动之后，一个可耻的现实就在您面前。无论是最近受欢迎的玩具还是戴着眼镜，它们的互动和智力仍然与云牢固联系在一起。即使是具有强大计算机功率的手机和PC也很少见，并且确实提供了线路功能。在Onetechnical演示中，Endrey模型看起来无所不能。但是，为什么智力在线之外终于同意仍然与国际网？矛盾的方面是对经验的最后渴望。您不能期望立即做出响应，您不想发送个人数据，并且网络的断开连接不会丢失。另一方面，有一个“物理屋顶”永远无法避免：有限的计算机功率，能量和内存消耗，例如无形的墙壁，残酷地阻止了大多数高性能模型的实现。最深的矛盾在于业务的严重性。对于拥有最强大模型的巨人来说，云是显示技术领导力和销售利润的支付站的参考点。当所有人的眼睛和资源都集中在云上时，越痛苦，疲劳和更少的企业又回来了，当然，它就越无知。那么，他们为真正致力于促进“线情报”的Minoría做了什么？在今年的世界人工智能会议（WAIC）上，一家名为Rockai的公司做出了自己的回应。他们继续前进一条没有人走路的道路，找到了打破死胡同的关键。该团队的使命是“在所有设备上构建独家情报”，基于其基础。在最初的几天，他们的模型可以在有限的计算机功率的Raspberry Pi中完美工作。该计算机尺寸始终是Endanese实施的严格试金石，大多数相似的模型经常被困在某些话后。 WAIC今年推出的Andan 2.0的预览只有30亿参数。这允许多模态和在本地实现真实的“内存”。该模型可以动态调整权重，并保留并更新用户配置长时间。在实验室示威阶段，这种“不可能的任务”的结果尚未停止。大规模生产订单是从国家和国外市场发送的，技术力量迅速换成商业价值。它的历史可以回答这个基本问题：为什么我们仍然有必要以及如何CAn当云模型蓬勃发展时，我们会实现真正的智能外线？ Geek Park采访了Rockai的CO -YOS Zou Jia，与他们谈了Rockai背后的商业历史。 01为什么您没有断开连接的员工？问：看来，整个行业都在为智能未来的境外努力，而巨人作为苹果将其视为他们的主要策略。但是，为什么这“最后一英里”总是在对消费者的技术演示中失败？ Ziasi：每个人都在设备侧面谈论智力离线和AI，但是在理想和现实之间有两个几乎无法克服的山脉。一个是计算机功率，另一种是能源消耗。如果您想在设备上运行大型型号，则需要一个高的计算机电源设置。如今，业内许多AI公司都有具有较小参数的模型，但需要具有更大计算机功能的芯片才能执行。例如，我们的一位客户想与他们的手机。但是，当时该行业其他伟大模型提出的解决方案几乎没有例外，可以使用高通的最后一个标志和超过16克的记忆。没有禁运，实际上，大多数智能设备将无法拥有计算机食品芯片。这是最残酷的计算机电源差距。无论AI技术的进步如何，只要满足少数高端设备应用程序，通用AI的含义就会丢失。另一个高峰是能耗。这个问题完全反映在手机上。现实情况是，只要手机制造商试图实施大型型号，设备将具有非常严重的热量。这些几乎都是基于传统体系结构模型的所有常见问题。几乎所有传统的手机制造商都在与我们沟通这个问题。每个人都想通过下一代AI手机前进，但是这种功率障碍已被阻塞。你为什么不能跑最后一公里eeter？实际上，智能软件更新的节奏在客观上很慢。许多年前，许多设备都在销售。当年的芯片，存储，麦克风和摄像头还没有为当今的伟大型号做好准备。如果在这些计算机和低端计算机功率中实现了变压器，则无法执行或几乎无法执行结果。即使上升的制造商推出了新一代的高端芯片，也通常需要六到12个月的时间才能在新产品系列中实施它。当产品真正出售，大规模发送并广泛流行时，通常会再有两年一两年。这种节奏是一种客观的物理现实，无法忽略。问：无论我是计算能源还是能源消耗，我都说许多问题的根本原因是指当前的常规变压器体系结构。事实证明，Trans是云中最强大的架构。为什么它移至Endrey设备时不适合当地环境？ zIasi Zou：这个问题必须在设备的侧面进行操作。我们问这个巨大挑战的核心。 Trans之所以强大，是因为它基于创新的护理机制。但是问题在这里。传统的AI模型就像装配线工人一样。他一一处理信息，他的记忆是有限的。处理后，忘记前面。 Trans就像具有超级大国的指挥官。您必须将信息放在正方形矩阵中，而不是依次处理，并计算它们之间的相关性，以将每个单词与所有其他单词一起使用。这种“全球手”的能力为变压器提供了非凡的理解。但是，在云中，有无限的计算机功率可以接收这种类型的计算机。但是，手机芯片Designl（CPU/NPU）类似于当前提到的“管道”。高速和连续执行任务是一件好事。突然，我完成了一个需要“全局握手”的任务，每个任务添加了一个单词的时间，计算的数量呈指数增加，这立即使人不知所措。我们从一开始就一直关注这个问题。目前，该行业有一些改进，其中包括闪光注意力，线性注意等。但是，这些是“命令孔”中的次要维修和维修，并且“全局握手”模型的高能模型并未主要改变。最后，我们选择了一个更详尽的道路：保留提取变压器特征的强大特征，但完全消除了高度消耗的护理机制，并用新的新体系结构代替它，以在“管道”中执行。同一时期，曼巴（Mamba）在国外的建筑采用了类似的方法。我们没有修复不适合在路径上行驶的F1汽车，而是重新设计了可以在路径上驾驶更快的道路车辆。问：这听起来很复杂。要在智能硬件中运行，必须重新设计体系结构。 intElligence Over Over Out Out Rein真的需要它吗？ Zuu Jiasi：这个问题非常有趣。我们认为这是非常必要的，我们看到了强劲的市场需求。这种需求反映在某些不能被云代替的值中：首先，隐私和绝对安全性。这是像苹果这样的公司最终投资的核心意图。不要将设备留在所有最机密的数据中，例如专辑，健康信息和历史记录。这是一个开始的问题。其次，最后一个真实的时间交互。许多场景需要毫秒延迟。例如，如果显示了YAN建筑的药物，则用户将大喊“ Snele会在我跳跃时射击”，并且模型应该立即做出反应。在这种情况下，网络波动可能是致命的，不能在云中信任。例如，未来的机器人应根据自己的手臂和传感器参数的长度创建精确的动作。这种真实的时间控制，非常有硬件，必须由本地完成“脑。”第三，成本问题。云API的价格似乎正在下跌，尽管它是免费的，但它仍然很昂贵。例如，收集摄像头和负载为数十亿个单位。在这个大规模上，无论云多么便宜和数千万，它也是一个天文数字。对于外线情报，已经支付了硬件成本，并且随后的使用几乎没有额外费用。从商业逻辑中，本地实施必须是最佳成本解决方案para测量设备。本地模型就像一个聪明的管家，具有隐私，安全性和个性化理解，可以保护其门。即使您并不总是解决所有最复杂的问题，也必须处理80％的日常任务（打开应用程序，建立提醒，简单的翻译，会议会议时间等），并快速安全地进行。对于大多数用户，不需要每次处理复杂的任务。而云模型可以满足用户的最大需求，设备模型可以满足最快，最安全和最快的用户的需求。 02您可以离线实现哪些型号？问：在线情报更难实现我选择的道路，重新设计了“偏离道路”。那么，这款新车或新建筑的“电动机”的中心机制是什么？ Ziasi：我们的共同创新是放弃消耗需要“全局握手”的能量的注意机制，并返回“特征激活”和作者的“体系结构”，并将其与分区的激活相结合，以减少每个帐篷或帐篷每个实际操作的参数数量。对计算机功率的需求降至其原始的五分之一以上，而能耗降至第十。如上所述，在标准的跨架构中，无论任务多大，所有参数都必须被激活以获得非常智能的响应。豪VER，人脑并不能真正起作用。人脑实际上有8-900亿个神经元。它可以理解为具有8,000-900亿参数的模型。当人类大脑完全激活时，其能源消耗可以达到3,000或4,000瓦，但实际的能量消耗量不足30瓦。这是如何神奇地做到的？通过分区激活。我们的模型借用了这种方法。除了减少能源消耗外，这种新体系结构还允许在3B型号中实现多模式。要使用如此严格的比例小子，当您看到一只鸟时，请听您的哭泣并同时阅读“鸟”一词，您的大脑不会点亮。在几个分区中，例如视觉，听觉和语言区域中的活跃特定的小神经元。这些分区彼此独立并重叠，这有助于以完美有效的方式对齐形式，声音和词汇。少于30亿参数的跨模型做到了由于其全球计算机特征，很难处理并有效地对齐各种来源的模态信息。激活机制，例如我们的大脑均与大脑分裂的方式。几个月的输入DAL允许不同的分区自然活跃，这使对齐变得更加精确，更精确。因此，在3B量表上，您可以保留对文本，言语和愿景的强大协作理解。问：“分区激活”的想法当然非常聪明。但是，人脑只能激活小部分的原因是因为它本身就是近1000个。具有1000万参数的巨大模型具有坚实的基础。尽管当前的端模型仅具有数十亿个参数，但它已经是“蜗牛的道场”。我们真的可以期望一个小型模型激活一小部分以实现更好的智力吗？ Ziasi Zou：他的问题触及了当前范式开发的核心E -scale模型：所谓的压缩智力困境。当前的伟大诱惑模型本质上是压缩智力作为巨型海绵的过程。培训过程是在该容器中压缩大量的互联网（水）数据，该数据由数千亿个参数组成。参数越大，海绵最大，知识就会吸收和存储更多。在多模式方面，此范式有几个问题。任何具有压缩文件的人都应该知道，包装和压缩后的1G文本比1G视频或图像之类的文件小。诸如视频图像之类的档案已经很大并且具有低压缩关系，这使得很难在市场上的小参数变形金刚模型中添加多模式功能。因此，如果游戏的规则是关于谁拥有更大的海绵并记得更厚的书，那么带有小参数的模型真的没有未来。但是我认为真正的智力应该是成长和学习，而不仅仅是压缩。这是我们路线的根本区别。我们将在同一条路径上平行地压缩智力 +独立学习。采取上述分区不仅节能，而且是增长潜力。当前模型总共有30亿个参数。只有一个。但是，例如，它通过神经网络的良好动态分布分为100个区域，因此只有3000万个参数必须同时处于活动状态。这将允许在允许手机存储器（超过100亿）的范围内的Endrey模型的总参数，但只会激活很小的部分以维持相同的低功耗。这扭转了游戏规则。我们不再研究制造较大模型的方法，但最终我们正在研究如何发展一个较小且重要的模型。因此，何时n其他正在阻止压缩的道路，我们通过MCSD体系结构，分区激活和神经元记忆单元找到了Endanese模型的第二个增长途径：低成本的可持续和独立学习。我们不仅建立了可以在设备侧面执行的模型，而且我们还建立了一个新的大脑基础，该基础可以在Endeside的AI的未来继续增长。问：我提到了独立学习一词。您如何了解Yan模型中的独立学习？现在与云模型的自定义不同吗？ Ziasi：独立学习是我们想在此偏僻中展示的最激动人心的技术进步之一。我们已经接触到的基于大云的模型需要事先接受培训以更新我们的智能。模型学习的真实模型：远期传播过程（推理/推理）和网络中的反向传播（学习/修改）变化以了解通讯用户的ts并在他们自己的神经元网络中反射。反向传播本身是一个耗能的特别过程。在云中，具有100亿个倒退的模型应使用一个由数千个GPU组成的大型培训组。因此，所有基于变革架构的模型仅在手机上实现时才会读取。它只能传播向前并失去学习和更新的可能性。我们接触到的呼叫自定义是通过对话一个模型，该模型记得其一些偏好，并形成了补充的知识基础，这不是从根本上学习您的偏好。因此，即使您和该模型多次强调您的偏好，该模型仍然具有您需要的退出。通过这种最基本的物理限制，我们的创新实现了显然是不可能的。在Endreide设备上首次启用Backpropagation的学习过程。感谢大自然f分区的激活，当模型必须学习新知识时，例如记住他们对“不糖喝咖啡”的偏好，它无需使用数十亿个参数摇动整个神经元网络。我们的架构阻止了与这种新知识直接相关的非常小的神经元分裂。在这个孤立的战斗迷你游戏中，执行了低功率反向传播，并且在此分区中仅更新了重量重量参数。这种新知识是直接写的，并永远是本体学模型的神经元网络。门已经开放给个性化记忆和独立学习。现在，您可以在学习（培训）模型并撰写新的学习时使用模型（推断），作为新的习惯和偏好，直接在模型的本体中。这使模型具有真正的自主进化能力。 03智能外部可以使用AI玩具？问：我们谈论许多不可能和技术的可能性。现在我们回到市场，尽管大多数声音仍然是基于云的模型，但他们的技术在短时间内找到了真正的商业订单。这很好奇。从他们的角度来看，当前市场中哪种玩家对外界情报最浓厚？他们背后的商业推动者是什么？ Ziasi：目前，我们在每个领域的关闭线情报上与痴迷背后的多个领域的客户联系，因此我们的客户具有深厚的商业逻辑。 PC，平板电脑和机器人是最核心和大众生产战场。我们正在使用中和低计算机。它更加关注更广泛的ING市场。例如，与国外重要的制造商合作。它的主要需求不仅是为未来的旗舰模型创建AI的功能，而且还振兴了数亿个待售或出售的低端设备。为什么硬件制造商对这些旧设备如此感兴趣？ be印度有两条生活。首先是出售给用户的设备。它准备通过这些旧的OTA配置方法（空气更新），新软件的预设并从附加值服务创建收入来提高AI模型。更重要的是，这将大大提高品牌的价值。 “几年前购买的计算机可以更新到PC AI！”即使您花钱也无法购买这种声誉。第二篇文章是关于仍在发送的不是格式的模型。您不能生活在数万个高端原始PC中。真正的销售和利润来自大型中和低范围市场。但是，由于芯片计算中的功率限制，这些设备无法执行任何模型的常规变压器，但是制造商没有观察到来自AI的孤立产品。而且我们的技术正是解决这一巨大空隙的解决方案。我们的模型可以在Shar的这些股份中直接执行而没有问题ES不是基于培训，该培训允许制造商在下个月将PC从AI出售给用户，而不是等待三年。与PC和平板电脑相比，它还专注于机器人和手机。我们还与无人机公司进行了一些合作。问：诸如AI眼镜和AI玩具之类的热场呢？ Ziasi：这两个类别是几乎所有手段和投资者在认识我们时必须要做的问题。它们代表了设备侧面AI的性感想象，但也揭示了更稀薄的现实。根部问题实际上是相同的。为了控制最终成本，这些设备上的芯片尚未旨在执行设计的开始。以AI的眼镜为例，该城市传统解决方案使用了Q Qalcomm的特定芯片或芯片，Q Qalcomm是像Hengxuan这样的制造商。这些芯片本质上是交流芯片。他的工作是连接到蓝牙，预测信息屏幕并轻松翻译，其C计算机功能严格限制。结果，如果我们的模型想在大多数眼镜上运行，您将无法执行，并且计算机功率和内存完全不一致。我们不能执行，更不用说牺牲数十亿个参数的模型了。这是更多的幻想。 AI玩具面临完全相同的困境。市场对这种体验具有很高的幻想，但是硬件的物理现实非常残酷。在这一点上，我们已经看到了两条清晰的道路，但是我们正在同时前进。第一种方法是“用曲线拯救国家”，这也是目前最实用的计划。眼镜本身的计算机功率还不够，因此请使用手机的计算机功率。我们正在与该计划的几家Gabin制造商进行详细的谈判。另一种方法是“阻止锅底的火”，这更基本和以未来为导向。我们和勇敢的合作伙伴正在测试大胆的想法。这是关于改变可怕的带有下一个代价的玻璃杯到更强大的大脑芯片上。这无疑带来了工业消费和设计的巨大挑战。但是对于他们来说，当他们成功时，这意味着拥有独特的眼镜，可以真正脱颖而出。想象一下，在国外旅行中使用它并在没有网络环境的情况下实现它。这种体验（例如直接和高质量的翻译）是“爆炸性的”，也是绝对差异化的优势。因此，两个眼镜和玩具的两个市场都具有“当前解决方案”和“最终解决方案”，并以未来为中心。我们非常耐心，因为我们相信真正的爆炸需要等待技术和硬件的完美共鸣。问：尽管中国的AI硬件卡车现在非常受欢迎，但它们主要在云中使用AI。但是我认为Hiscustomers确实在国外卖了。当涉及到智能的线之外，在国内外，市场温度是否不一致？ Zisi：您观察到的“温度差”是我们当前战略设计的核心。在国外市场上出售的智能硬件实际上提供了更广阔的蓝色海洋。这种“热”需求主要是由于中国三个不敏感的“痛苦”。首先，这是基于文化的“对隐私的痴迷”。在欧美市场中，用户注意法律中写的个人数据的隐私，并深深植根于人们的脑海。我们还正在与主要的玩具IP公司讨论合作。对我们的解决方案非常感兴趣的核心先前要求之一是，他们不希望用户的隐私转向云。 ANDL IP内容和用户数据是最高级别的资产，必须在设备的侧面处理。其次，这是一个“网络差距”目标。我们很容易被中国顶级城市中普遍存在的5G网络“盲目”，他们认为该网络可以做到一切。但是，对于外国伙伴而言，用户可以在非洲沙漠中或在东南亚群岛。由于这些位置的网络环境，云依赖性的经验是不可靠的。在弱且无知的环境中可以稳定运行的离线模型是“挽救生命的稻草”。第三，这是较高的人工成本创造的“效率需求”。在国外，许多方案已被更多的动力用机器代替人力资源。 Si necesita una recepionista Compice de 7x24 Horas Sin Internet O unaGuíaMultilingüe，El Valor Mercercial de la Inteligencia fuera fuera delíneaSerámore直接直接和紧急，而不是在国内市场。因此，我们的策略非常明确，称其为“船在船上，去海上”。通过使中国公司国外的能力非常出色，它将技术带给了世界上最现实，最强劲的离线需求的技术。问：您的交流描绘了一个非常令人兴奋的观点，但您无法避免急性现实。另一方面，端侧模型是重点在几个智能的硬件制造商中，以及外国手机巨头正在投资自我开发，并试图用自己的手来夺取AI的救生员。同时，摩尔硬件法律也迅速发展。几年后，如果手机上的芯片足够强，可以轻松运行更大的模型，那么仍然有“小而美丽”的优势？在这样的未来之前，Lokkai的Pitdeeper是什么？ Zuu Jiasi：您的问题非常清楚，表明我们认为每天都有两个核心挑战挑战。首先，硬件正在加强。我认为这对我们来说是一个好趋势。首先，高端硬件受欢迎程度至少需要2 - 3年的窗户期。在此窗口中，我们是针对大型库存和中间范围团队的AI问题的最佳解决方案。其次，最强的硬件基础不仅可以容纳最大的变压器，还可以容纳从童年到成年的Yang建筑模型。你也可以创建E低于10B的E模型。此外，仍然存在独立学习和低能消耗特征的独特优势。另一个可以触及我们公司灵魂的问题回答了我们的真实坑。我们团队的基因实际上来自2015年伊茨诺（Eatsnó）的未完成的梦想。当时，我们的一些创始人想创建一个真正的智能硬件。该表格看起来像小AI同学，但由于AI的不成熟技术，它失败了。并不是说我觉得现在是时候看到tr的潜力并聚集在一起开始一家生意了。然后，我们仔细地发现，在工程学中无法使用“云上的野兽”粘在小型设备中。当时，我们面前有两次通行证。一种是跟踪行业的传统补丁变压器并进行多种优化。对于投资者来说，这条道路将更容易理解。另一个是遵循更加困难和孤独的道路，认识到他的道路被封锁，开始了最终从头开始出生的新建筑。我选择了最后一个。支持我们试图做的不是我们拥有多少钱，拥有多少张牌，吸引力的背景如何。我们的内部摘要可以是一个非常“形而上学的”术语：永久性。该模型一直在工作直到最后，并坚信该设备必须具有自己的智能。正是由于这种痴迷，我们愿意坐在银行两年多。当其他人追求云层时，我们就像实验性的炼金术士一样，尝试并在实验室中反复验证，并最终改善Yang建筑模型的药丸。因此，我们的坑不是一个或两个技术要点，因为有太多的人和聪明的团队。我们的坑是我们从第一天开始就独特地诞生的可持续性，积累的认知和创新基因的井。 *主i的来源法师：AI作为原始Geek Park文章生成了本文。联系Geek Park Wechat Geekparkgo