中国电信发布全球首个单体稠密万亿参数语义模型
发布时间:2024-06-24
信息来源:国务院国资委
字体: 【 】
近日,在北京智源大会上,中国电信人工智能研究院(teleai)联合北京智源人工智能研究院发布全球首个单体稠密万亿参数语义模型tele-flm-1t,成为国内首批发布稠密万亿参数大模型的机构。针对大模型训练算力消耗高的问题,tele-flm系列模型基于模型生长和损失预测等关键技术,仅使用业界普通训练方案9%的算力资源,算力能效高且模型收敛性和稳定性好。tele-flm-1t版本即将开源,期望为社区训练万亿稠密模型提供技术参考,避免万亿模型训练收敛难等问题。
往期推荐
- 张玉卓到国家电投调研2024-06-21
- 中央企业牵头建设24个创新联合体2024-06-21
- 国新投资认购3只中证国新港股通央企红利etf首发份额2024-06-20