日本团队利用超算“富岳”开发大语言模型

日本团队利用超算“富岳”开发大语言模型东京工业大学、理化学研究所、富士通等的团队10日发布消息称,运用超级计算机“富岳”独立开发了日语能力出色的生成式人工智能基础技术“大语言模型”。不仅企业与大学可下载使用,公众也可通过富士通官网试用。此次利用包括富岳在内的国产技术,还独立汇总了用于学习的日语数据。该团队认为,能够消除海外模型被指“使用哪些数据如何开发存在不透明”的担忧。该团队从互联网文本数据库中甄选高质量的日语文本。使用“富岳”推进人工智能学习,用不到1年时间完成开发。据称,特点是能够自然地处理敬语和以日本文化为背景的对话。富岳不使用GPU,团队此次优化了软件,把CPU的计算速度提高至6倍,展示了使用国产超算也能开发生成式人工智能。——

相关推荐

封面图片

日本将开发国产生成式 AI 的大语言模型,富士通、理研等参与

日本将开发国产生成式AI的大语言模型,富士通、理研等参与据共同社,日本东京工业大学和日本东北大学等团队5月22日发布消息称,将开发作为生成式人工智能(AI)基础技术、具备更强日语能力的“大语言模型”。利用理化学研究所的超级计算机“富岳”,学习大量数据。本年度内依次公开,将使国内企业、研究人员等可为自己公司的服务或研究而自行改良。报道称,海外企业开发的生成式AI尽管也支持日语,但学习所用到的日语数据有限,精确度存在课题。频道:@TestFlightCN

封面图片

日本超算“富岳”后续机型将注重人工智能算力

日本超算“富岳”后续机型将注重人工智能算力关于超级计算机“富岳”的后续机型,日本文部科学省的专家委员会5日汇总报告,指出要以人工智能计算方面拥有全球最高水平的性能为目标。计算能力要达到“富岳”的5~10倍以上,力争由理化学研究所作为开发主体于2030年前后启动运用。在理研计算科学研究中心运转的“富岳”在截至5月的全球运算速度排行榜“TOP500”中位列第四。理研方面称算力可达每秒44.2京次。报告指出,不仅仅追求排名,有必要在产业和科研等所有领域都能提供世界水准的算力。——

封面图片

亚马逊被曝组建新团队研发大语言模型 CEO贾西亲自监督

亚马逊被曝组建新团队研发大语言模型CEO贾西亲自监督大语言模型是构建人工智能工具的核心技术,这种模型通过从大规模数据集中学习,生成类似人类回答。OpenAI、谷歌和Meta等公司已经构建了令科技界惊叹的大语言模型。亚马逊也有许多类似产品,包括AlexaTeacherModel和Titan。在6月底的邮件中,贾西表示,普拉萨德将领导一个“核心团队”,打造亚马逊“最具扩张性”的大语言模型。贾西在邮件中写道:“简单来说,我想分享一个消息,罗希特将转任一个新职位,领导一个核心团队,打造我们最具扩展性的大语言模型。虽然我们在公司内部已经建立了几个大语言模型,并且还有其他几个正在开发中的项目,但我们将集中资源打造我们最雄心勃勃的大语言模型,而罗希特将带领这个团队。在这个新职位上,罗希特将直接向我汇报工作。”亚马逊发言人没有回应置评请求。据此前报道,亚马逊正急于应对生成式人工智能的迅速崛起。尽管亚马逊在过去几十年一直在研究各种人工智能技术,但微软、OpenAI和谷歌等竞争对手已经抢占了先机。Meta最新的Llama2大模型也在业界引起轰动。据悉,亚马逊最近也在云计算部门AWS下成立了新团队,专注于帮助客户使用生成式人工智能。据报道,AWS还推出了一些新的人工智能产品,如Bedrock服务,它使其他基础模型更易使用,以及于2022年推出的AI编码工具CodeWhisperer。普拉萨德在亚马逊Alexa团队担任高管已经超过10年,而亚马逊最近还推出了一个新项目,利用类似ChatGPT的技术,使Alexa变得更智能、更个性化。普拉萨德还是亚马逊设备和服务团队的一员,他将继续参与该业务。据了解该团队负责人是戴夫·林普(DaveLimp)。在贾西6月份的公告后不久,林普告诉该团队,普拉萨德将继续成为“Alexa的重要合作伙伴和支持者,并在我们业务的未来发挥重要作用”。电子邮件中称,设备与服务团队副总裁丹尼尔·劳施(DanielRausch)将负责Alexa的产品和业务组织,包括娱乐、合作伙伴参与和国际团队。林普在邮件中表示:“我们对Alexa的使命和愿景没有改变,对于赋能客户的能力,我比以往任何时候都更加乐观。”(小小)...PC版:https://www.cnbeta.com.tw/articles/soft/1374275.htm手机版:https://m.cnbeta.com.tw/view/1374275.htm

封面图片

Line日本总部本周宣布开源自家开发的日语大型语言模型(LLM)。

Line日本总部本周宣布开源自家开发的日语大型语言模型(LLM)。,可用于研究和商业用途,包含和个参数两个版本,均可在HuggingFaceHub上获取。,Line一直专注于大型语言模型HyperCLOVA,在2021年5月,Line首次公开了基于2040亿个参数训练的韩文版LLMHyperCLOVA,然后在11月公布了拥有850亿个参数的日语专用版本。此次公开的模型与HyperCLOVA是不同部门并行开发的。此次开源的模型团队指出,此模型是基于Line自家的日语大型Web文本进行训练的,使用了650GB数据集进行训练。研究团队还提供了本次公开的两个模型与Rinna-3.6B和OpenCALM-7B模型的准确度和困惑度(perplexityscore,PPL)比较数据。——

封面图片

日本多家大学联合启用超算富岳开发新AI 目标直指ChatGPT

日本多家大学联合启用超算富岳开发新AI目标直指ChatGPT·提起日本超算“富岳”,多次在世界超级计算机运算排行榜中占据前位,其运算能力绝对不容小觑,东京工业大学、东北大学、富士通、理化学研究所等科研机构联合计划就是直接活用超算“富岳”开发新AI,以对抗ChatGPT。·日本的“富岳”开发新AI计划打造以日语为核心语言库的大规模语言模型,以弥补ChatGPT英语核心模型库在日本的普及问题,计划在2024年公开开源模型库,向企业及大学无偿提供。...PC版:https://www.cnbeta.com.tw/articles/soft/1362667.htm手机版:https://m.cnbeta.com.tw/view/1362667.htm

封面图片

亚马逊据称成立AI模型训练团队 斥资数百万美元

亚马逊据称成立AI模型训练团队斥资数百万美元亚马逊拒绝对此消息发表评论。该团队由Alexa前负责人RohitPrasad领导,他现在直接向首席执行官安迪·贾西(AndyJassy)汇报工作。作为亚马逊人工通用智能(AGI)的首席科学家,Prasad引入了一直从事AlexaAI研究的研究人员和亚马逊科学团队来研究训练模型,用专门的资源将整个公司的AI工作整合在一起。截至目前,亚马逊已经训练出了泰坦(Titan)等规模较小的模型。该公司还与Anthropic和AI21Labs等人工智能模型初创公司达成了合作,向亚马逊网络服务(AWS)用户提供这些模型。熟悉内情的人士说,亚马逊认为,拥有自主开发的人工智能模型可以使其在AWS上的产品更具吸引力,因为企业客户希望在AWS上获得性能最佳的模型。这些消息人士还补充说,目前亚马逊还没有制定发布新模型的具体时间表。LLM是人工智能工具的基础技术,这些工具可从海量数据集中学习,生成类似人类的反应。考虑到所需的计算能力,训练更大的人工智能模型成本更高。在4月份的财报电话会议上,亚马逊高管表示,公司将增加对LLM和生成式人工智能的投资,同时削减零售业务的交付和运输规模。...PC版:https://www.cnbeta.com.tw/articles/soft/1395487.htm手机版:https://m.cnbeta.com.tw/view/1395487.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人