首页/文章/ 详情

国产调度器之光——Fsched到底有多能打?

1年前浏览6816
这是一篇推荐我们速石自研调度器——Fsched的文章。
看起来在专门写调度器,但又不完全在写。
往下看,你就懂了。

本篇一共五个章节:

一、介绍一下主角——速石自研调度器Fsched

二、只要有个调度器,就够了吗?

三、全面对比:速石研发平台 VS LSF Suite

四、如果你想尝试AI——

五、不止半导体领域。。。。



     

介绍一下主角

速石自研调度器Fsched


fastone Scheduler,简称Fsched,是速石科技所有产品的核心调度组件。Ta是面向HPC集群的操作系统,是HPC集群的“大脑”,用于对HPC集群内的计算资源进行管理、监控,对用户提交的任务进行统一管理、分发和远程执行。
Fsched是速石科技基于开源的Slurm版本进化而来的全新产品。

01

我们的Fsched调度器到底厉害在哪?

   


先看一组我们在半导体领域用户的真实验证数据
5个月时间内:
CPU调度峰值达到5万核
提交了超过8000万Jobs
构建超过700台机器组成的大规模集群;
使用量约3000万核时

Fsched性能指标

     

吞吐量:

1000 jobs/second

响应时间:

1 ms

集群规模:

单个Fsched集群能够支持的最大节点数:1000

单个Fsched集群能够支持的最大CPU核数:30000


总结一下,Fsched调度器优势:
1. 完全由速石独立开发,性能卓越;
2. 我们能提供代码级技术支持;
3. 支持市面上几乎所有EDA工具;
4. 服务了100+家不同类型的半导体行业用户;
5. 兼容LSF/SGE等调度器,使用体验不变。


02

代码级技术支持有什么不一样?

   

代码级技术支持的特别之处主要体现在解决问题的路径上
一句话,我们能做很多人做不到的事情。

一般问题:我们站在产品视角来解决

特殊问题:我们以开发者身份来解决
比如一些特殊调度策略的改造与优化,我们是开发者,所以能做。包括各种调度器日志的监控分析,优化调度器的提交方式和脚本等等。

DEBUG:深入代码级的技术支持
举一个典型例子:当研发提交任务出现异常状态,怎么办?

我们首先需要定位与任务相关的日志。日志分为:基础设施层日志、中间件层日志、应用层日志等。
IT和研发工程师的关注点不一样:IT工程师一般看基础设施层日志,CAD和研发工程师看中间件层日志和应用层日志。不同角色各看各的,定位问题效率低。
我们通过Fsched调度器:
1. 把调度任务的异常日志分类,找出是哪一层的问题;
2. 任务状态跟踪,通过异常应用找出相应进程和IO信息,方便判断;
3. 通过数据分析抓取日志中的关键信息。
找到问题,over。

03

Slurm之上,我们还做了什么?

   

Slurm是厉害的:全球60%的TOP500超算中心和超大规模集群(包括我国的天河二号等)都采用Slurm作为调度系统。它拥有容错率高、支持异构资源、高度可扩展等优点,适用性相当强。

那么,基于Slurm之上,我们还做了些什么?

从0到1,帮助用户更快,更简单地用起来
1. 产品级IT自动化管理,标准化地调用资源,保证环境一致性,降低用户配置复杂度和出错率,上手更容易;
2. 从业务出发,Fsched与底层资源的联动性强,根据任务需求自动伸缩,更符合云上使用方式。
从1到10,让用户用得稳定,用得放心
1. 对Slurm开源版进行修复与增强修复Slurm开源版在复杂环境下任务异常崩溃等问题,增加了混合云智能调度能力;
2. 基于Wrapper组件,Fsched对上层EDA应用进行了兼容与优化,保证用户使用体验不变;
PS:同样是Wrapper,水平也是有高下的。要达到多年战斗在一线的专业高级口译的经验和水平,只能说:有难度。
3. 根据最佳实践经验总结的流程与规则,能优化EDA Workflow,提高调度器使用效率;
4. 代码级支持能力让用户无后顾之忧。


     

只要有个调度器

就够了吗?


答案自然是否定的。

为什么?

或许,我们可以换个角度来回答这个问题。


就像汽车出现之前,用户的期望永远是——1匹更快的马一样

在当下芯片设计研发领域,我们如果把调度器类比马,那么汽车是什么呢?


我们给大家简单描绘一下:

一个站在整个芯片设计研发体系和架构视角来满足EDA行业用户性能、功能、体验的产品。

1. Ta是完整的一体化产品,功能紧密耦合,且经过层层实战考验;

2. Ta解决的是完整生命周期的芯片设计业务问题,调度器只是其中一个模块;

3. Ta具有对企业未来发展的弹性,能扩展至不同规模和更多业务路线,比如AI

而这,正是我们与其他很多产品最大的区别之一


我们的产品在设计之初就是面向EDA应用,服务芯片设计研发业务场景的。这也决定了我们解决问题的出发点永远是:是否满足研发业务需求,然后从上至下地解决问题。


首先,我们提供的是一整套上中下层联动的芯片设计研发环境:

1. 连接上层EDA应用,对应用本身的运行提供支持和优化;

2. 连接底层资源,给用户提供更灵活,更高效使用资源的能力;

3. 结合EDA应用和底层资源的联动和适配,给出最佳实践经验。


第二,我们的功能都是面向实际业务场景设计和提供的:

1. License调度优化,可帮助企业用户最大化提升License利用率,更好地规划License购买策略,控制整体使用成本;

2. 我们能多维度监控任务状态,提供基于EDA任务层的监控、告警、数据统计分析功能与服务,让团队管理者监控各个重要指标变化,从全局角度掌握项目的整体任务及资源情况,为未来项目合理规划、集群生命周期管理、成本优化提供支持;

3. 日常数据统计与运营分析管理,实现问题可追溯,可追踪,降低成本,提升整体项目管理效率。


第三,我们的交互方式不改变EDA用户使用习惯。原来怎么用,现在还怎么用。



     

速石研发平台

VS

LSFSuite


半导体行业用户最熟悉的调度器是LSF,就不多介绍了。

不过,它背后的LSF Suite大家就不一定熟悉了。


来来,我们盘一下,我们速石研发平台跟LSF Suite的区别是什么?

01

根本区别:设计理念不一样

   

我们是站在整个芯片设计研发体系和架构视角来设计的一体化产品解决的是完整生命周期的芯片设计业务问题,功能紧密耦合,且经过层层实战考验。
Fsched调度器只是其中一个模块,不单独售卖,在我们的全线企业级产品均属内置,且与产品其他功能深度绑定
这正是我们上一节提到的面向EDA业务的产品定位决定的。
而LSF Suite里的核心调度器LSF与其他组件是不关联的,属于可选项。这也导致了用户大多只接触过LSF,而对它的其他组件没有什么概念。
而且,因为各种功能组件之间独立存在的,用户使用的时候需要根据自己业务需要进行二次开发组装,从零开始进行功能模块需求评估、采购、对接、开发和测试验证兼容性,才能搭建出一个完整的研发环境,时间周期也会比较长
另外还有期间的运维、后续的更新升级和功能扩展等事项。

02

性价比:速石研发平台TCO更低

   


下图是我们研发平台与LSF Suite的横向对比图,可以清楚地看到,两者的收费模式差别很大。

我们Fsched调度器是包含在平台费用里的,相关组件也都是随产品一起内置的,不单独收费。


而LSF Suite除了核心调度器按使用核数收费以外,所有功能组件都需要额外收费


从总拥有成本来看,对用户来说,速石研发平台付出的成本更低,获得的东西更多。还有很多隐性成本没有列在表格里,比如对接调试时间成本,人工成本,售后支持成本等等。


总结一下,我们跟LSF Suite的五大主要区别

1. 核心调度器Fsched完全国产自研,有代码级支持能力;    
2. 我们的产品设计初衷就是提供面向EDA业务的一整套研发环境,可扩展性强    
3. 各功能模块紧密耦合,不单独收费,整体性价比高    
4. 我们的CAD能力与经验,能有效提高上中下层整体联动效率;    
5. 我们兼容LSF/SGE等调度器,使用体验不变。    



     

如果你想尝试AI——


目前,AI在芯片设计领域的应用主要有两条路线:


路线一:AI+EDA工具

Synopsys、Cadence与Siemens等公司纷纷在其最新工具中使用了AI技术,覆盖先进数字与模拟芯片的设计、验证、测试和制造环节,让开发者在芯片开发的每一个阶段都可以采用借助AI的自主学习能力,提供芯片设计生产力。

当然,越来越多EDA工具也支持借助GPU进行运算加速。


路线二:AI算法模型训练

Google研究人员使用10,000个芯片布局图来训练他们的深度学习模型——PRIME,人工智能生成的芯片的设计时间不到六个小时。

而NVIDIA设计了另一种用于芯片设计的深度学习方法——PrefixRL模型,NVIDIA使用其RL工具设计的电路比人类使用当今EDA工具设计的电路小25%,但性能相似。


路线一需要支持全流程EDA工具的一整套研发环境,以及构建异构资源(CPU+GPU、本地+云上)的调度及管理平台的能力。

路线二需要的支持企业从ML/LLM模型构建、大规模训练到最终部署需求的MLOps模块

我们都有。


另外,我们刚刚发布的一款行业知识库聊天应用Megrez,面向企业客户提供大语言模型的私有化部署能力,允许用户自定义行业知识库,实现领域知识的问答。

Megrez基于芯片设计领域提供的支持



     

不止半导体领域。。。。


在半导体以外的其他行业,如生命科学、汽车/智能制造,我们也表现不错。

 END -


来源:速石科技
LS-DYNAFluentHPC电路二次开发半导体汽车电子UG芯片BladedCadence科普上云控制试验人工智能
著作权归作者所有,欢迎分享,未经许可,不得转载
首次发布时间:2023-08-25
最近编辑:1年前
速石科技
为应用定义的云
获赞 36粉丝 2文章 16课程 0
点赞
收藏
未登录
还没有评论
课程
培训
服务
行家
VIP会员 学习 福利任务 兑换礼品
下载APP
联系我们
帮助与反馈