关于AIGC，我们收到了新指示！
本月15日，由国家网信办等七部门联合发布的《生成式人工智能服务管理暂行办法》正式实施。从内容生成的合法合规问题、行业服务规范整治到过度沉迷/依赖防范措施，《办法》具体罗列了多项针对国内生成式人工智能发展的管理要求。在认真学习后，我们发现了《办法》内，除了“审慎”、“监管”以外的两大高频词 - “创新”、“算力”。
作为人工智能的三大要素之一，算力这个重要底座已与人工智能的创新发展深度绑定。随着ChatGPT的横空出世，及以其为重要代表的自然语言处理(NLP)技术的进步，通用人工智能 (AGI)进入飞速发展阶段，大模型(LLM)成为人工智能发展的必然趋势。
目前，LLM参数已具指数级规模。据报道，由OpenAI于今年3月发布的GPT-4已达到1.8万亿的巨量参数。相比于之前拥有1750亿参数量的GPT-3，GPT-4的单次训练成本已高达6300万美元。这一趋势使得LLM训练对算力的需求已从原有单纯的硬件囤积，迅速过渡到寻找合适靠谱的算力平台阶段。
当下，模型规模的扩大；训练数据量、训练时长的大幅提升以及对相应调优工作精细度复杂度的高要求，都需要软硬件的高度配合 - 拥有优异计算能力和响应速度的显卡 + 具备强大训练条件及丰富算力资源的平台。
平台是联通算力底座与大模型训练两者之间的重要“媒介”。针对不同模型的不同训练需求，结合硬件配备，实现算力资源的合理分配，以达到上述的软硬件最优配合效果，从而提升训练效率；同时，在AI研发范式对深度学习及研发成本控制层面起到积极作用。
曙光智算以“异构算力+大数据+深度学习+创新算法”的创新型算力供给模式，打造集“算力、模型、数据” 于一体的AI应用服务体验新生态。为AI研发、模型训练与行业应用提供优质解决方案。
我们的多个计算中心均配备了自主研发的加速卡，并在最大限度上兼容主流AI框架及各类软件生态。中心超大规模的强劲异构算力及稳定可靠的集群环境为用户实现大模型的部署、训练和推理生产应用提供强有力支持。
曙光智算AC.sugon.com平台提供Notebook图形化模式对框架、资源多卡等进行选择设置一键提交作业。
平台亦可为用户提供简单易用的一站式开发流程和开发环境，实现从数据、运行环境创建、模型预处理、模型精调、调参等大规模训练全流程覆盖。
经典案例分享
中国科学院自动化研究所
CASIA
2019年开始，中科院自动化所在语音、文本、图像等单模态大模型研究和应用基础上，瞄准多模态大模型领域开始联合攻关。2021年正式发布了千亿参数多模态大模型“紫东.太初”1.0，助推人工智能从“一专一能”迈向“多专多能”。
2021年底到2022年,曙光智算配合中科院自动化所团队进一步完善视觉、文本、语音等大模型训的训练和优化工作，模型参数量为百亿级，总体使用数据集约5TB，训练硬件规模512节点，稳定运行长达数个月，整体加速比在80%以上，模型拓展性能好，多卡加速比符合预期。
乐言科技
Leyan Technologies
乐言科技是一家具备自主AI研发能力、拥有完整AI应用落地场景的人工智能科技公司。在电商领域，乐言科技为商家提供AI SaaS+全链路数智化解决方案，服务6万+客户。今年5月，乐言科技发布自研行业大模型，推进大模型技术在多行业的商用落地。
与此同时，乐言科技积极跟进主流开源大模型。借助曙光智算算力资源，实现了Codegen和LLaMA等大模型的预训练、微调和推理测试。实验表明，国产加速卡可做到不同模型参数等级全覆盖，与A100 (80G显存 NVLink) 同算力价格比经过优化可达1:2；13B超大模型128节点运行稳定测试表现优异，可稳定稳运行五天以上。此次适配成功，填补了国产加速卡在大模型训练领域的空白，超高的性价比、稳定性将获得大量用户的青睐。
CSDN
Chinese Software Developer Network
由OpenAI开发的自然语言处理模型GPT-3的模型结构基于Transformer架构，模型参数规模175B。
今年，曙光智算配合CSDN团队进行国产化算力资源验证，以192节点为基础进行拓展性测试，在实际任务训练中，利用Transformer模型特性，调整DeepSpeed显存优化选项，使得模型通信开销维持在极低水平，万卡拓展性几乎呈线性状态。验证了集群硬件的性能、可靠处于国内第一梯队，为国产大模型提供坚实算力支撑。
收敛性图例
拓展性图例
推动生成式人工智能基础设施和公共训练数据资源平台建设。促进算力资源协同共享，提升算力资源利用效能。鼓励采用安全可信的芯片、软件、工具、算力和数据资源。
- 摘自《生成式人工智能服务管理暂行办法》
第二章 技术发展与治理
大规模算力服务化已崛起，一些业内人士也视今年为通用人工智能与生成式人工智能的落地元年。在机遇与挑战并存的关口，曙光智算紧跟国家政策导向，算力工作、创新任务两手抓，通过持续优化软件框架与计算引擎，不断提升平台的使用效能，为本土AI产业生态提供强有力的支持保障！
*部分配图源自：Digital Trends
