首页/文章/ 详情

2024年第16周 | 顺利运行大语言模型所需的内存

6月前浏览9658


1. LLM所需内存

理论上,运行 7B模型至少需要 8GB 内存,运行13B模型至少需要16GB内存,运行33B模型至少需要 32GB 内存,但实测显示要顺利运行大模型,模型尺寸不能超过内存的一半,例如llama3 70B-instruct的尺寸为40G,尽管在64G的内存下勉强可以运行,但执行速度已经变得非常慢。

2. 第16周阅读统计

过去一周(2024.04.15~2024.04.21),读者最为关心的文章如下: 

  • 2024年第15周 | 新的硬件配置极大增强了计算能力

  • 3DEC V9.0 运行时间表现异常

  • Bingham流体模型---注浆模拟

  • CloudCompare---一款开源点云处理软件

  • Doug Piteau的学术贡献及其对早期SRK Consulting的影响

  • FDEM的材料参数输入

  • FLAC3D和3DEC之间的耦合

  • Geo-Congress 2024 四大岩土讲座

  • Geostudio 2024新增的软弱夹层 (Weak Surfaces)功能

  • GPT4free---集成多源的大语言模型

  • Ok tedi露天矿(开采深度1000m)的岩石力学研究

  • Ollama 新增微软的 WizardLM 2模型 (V0.1.32)

  • Ollama本地运行的实践---离散断裂网络DFN

  • Open-webui---构建基于本地知识库的大语言模型框架

  • PCDC混合有限元离散元并行计算程序

  • RocSlope3与RocFall3的集成分析

  • 三维有限元分析中的混合网格(Hybrid Mesh)

  • 世界第一深的单井地下铜矿---Resolution Copper极端高温环境下的采矿挑战

  • 为啥我的UDEC 7.0老是容易崩溃

  • 全球采矿业最重要的一项技术---新一代零碳排放100%电动装载机

  • 初试FDEM软件PCDC的计算流程

  • 利用3D打印合成岩体解释非贯通节理的破坏机理

  • 力拓与沙特阿拉 伯争夺第一量子的矿业股份

  • 加拿大第二大露天铜矿---Gibraltar的边坡稳定性

  • 加拿大镍业公司克劳福德(Crawford)项目开始进行前端工程设计

  • 回转半径r(Radius of Gyration)和细长比(Slenderness Ratio)

  • 国产边坡岩体信息识别系统 (SlopeRMI)

  • 堤坝在快速降水情况下的全耦合流体变形分析

  • 堤坝地震变形(Seismic Deformations of Tail ings Dam)的分析指南

  • 尾矿库的调洪和演算

  • 岩石断裂的cohesive-zone模拟

  • 岩石破碎(Rock Fragmentation)的数值模拟(block fragment compute)

  • 往事回顾 | 纪念岩土工程先驱Bengt Broms教授 (1928-2023)

  • 悉尼2025年Rocscience国际会议 | 终身成就奖 Dr. Poulos

  • 才发现Midas软件的GPU加速仅支持专业图形卡

  • 推荐 | 逆向工程GPT4free---免费使用GPT模型(BBM和BPM试验)

  • 新的矿业公司加入与中国公司竞标阿基姆金矿

  • 最新Ollama: 基于嵌入模型的检索增强生成(RAG)---3DEC测试

  • 最新大语言模型比较---岩石力学中的FDEM(What is the FDEM in rock mechanics?)

  • 案例回顾---边坡坡脚稳定性分析

  • 水坝、堤坝和防洪堤 (Dams; Dikes and Levees) | PM4Sand 和 PM4Silt本构模型

  • 混凝土保护层厚度(Thickness of Concrete Cover)

  • 混凝土强度的标准值和设计值

  • 短期课程 | 集成的三维岩石边坡稳定性分析

  • 第60届太沙基讲座: 土的本构模型 | 麻省理工学院 Andrew J. Whittle

  • 英伟达的检索增强生成应用程序ChatRTX (V0.2.1)

  • 贝叶斯统计(Bayesian Statistics)在岩土工程中的应用 | 安装这两个专用库

  • 货船撞击桥墩力的经验估算 (沥心沙大桥)

  • 重启检索增强词嵌入的核心算法sentence-transformers 2.6.1

  • 阶梯路径岩桥 (Step Path Rock Bridge)

  • 首次展示Itasca采矿分析工具箱IMAT的功能


3. 最受关注 Top 5 

04.15-04.21
发表内容13篇,最受关注:

04.01-04.14

发表内容28篇,最受关注:

  • 最新大语言模型比较---岩石力学中的FDEM(What is the FDEM in rock mechanics?)

  • 第60届太沙基讲座: 土的本构模型 | 麻省理工学院 Andrew J. Whittle

  • 利用3D打印合成岩体解释非贯通节理的破坏机理

  • 世界第一深的单井地下铜矿---Resolution Copper极端高温环境下的采矿挑战

  • 2024 CIM岩石力学奖揭晓

  • Bingham流体模型---注浆模拟

  • 50年一遇的强降雨迫使露天矿停止运营

  • 加拿大第二大露天铜矿---Gibraltar的边坡稳定性

【3月份】2024.03.04-2024.03.31
发表内容60篇,最受关注:
  • 江西铜业以2.12亿美元收购第一量子的股票
  • 多家中国公司有意收购加纳的阿基姆金矿

  • 在西非采矿真不容易 | 车辆遇袭致3人死亡

  • John Burland教授 | 对岩土工程作出杰出贡献的传奇人物

  • 首次展示Itasca采矿分析工具箱IMAT的功能

  • 50年一遇的强降雨迫使露天矿停止运营

  • 中国铝业在秘鲁的Toromocho铜矿

  • 岩石断裂的cohesive-zone模拟

  • 同一天发生两起重大煤矿致命事故

  • 全球采矿业最重要的一项技术---新一代零碳排放100%电动装载机

  • 云南镇雄山体滑坡地表水和地下水对边坡稳定性的影响

  • 知名铜矿铲车突然起火,女操作工遇难


【2月份】2024.01.29-2024.03.03

发表内容59篇,最受关注:

  • 江西铜业以2.12亿美元收购第一量子的股票

  • 货船撞击桥墩力的经验估算 (沥心沙大桥)

  • 在西非采矿真不容易 | 车辆遇袭致3人死亡

  • 露天金矿坍塌造成数十人死亡

  • 黄河股份有限公司获得3000万美元的金矿建设EPC合同

  • 著名的土物理学家van Genuchten入选2024年国家工程院 | 非饱和土力学SWCC

  • 地下铜锌矿发生事故,1人遇难

  • 陈祖煜院士---北京市地下水位升高是个比较大的事儿

  • 云南镇雄凉水村山体滑坡与11年前赵家沟村山体滑坡的本质区别

  • 刚果矿业---中国企业将在刚果(金)采矿业投资70亿美元

  • 云南镇雄山体滑坡区域岩体物理力学参数值的确定


【1月份】2024.01.01-2024.01.28

发表内容60篇,最受关注:

  • 云南镇雄山体滑坡区域岩崩的初步分析 (Rockfall)

  • 采矿巷道坍塌造成73人死亡 (2024.01.25)

  • 云南镇雄山体滑坡区域岩体物理力学参数值的确定

  • 这么先进的大型露天矿发生事故,死亡一人 (2024.01.16)

  • 2024年发生的第一个重大矿难死亡22人 (2024.01.15)

  • 刚发生了一起顶板冒落事故, 1人遇难 | 顶板冒落的预防措施 (2024.01.19)

  • 全球开采最深的地下金矿发生事故,1人遇难 (2024.01.09)

  • 要上市了!岩土软件开发公司Rocscience宣布获得战略投资以加速创新和扩张

  • 轴向桩的有限元分析 (Axial Pile Analysis)

  • 2023年全球重大岩土事故回顾

  • 日本能登半岛地震M7.5和福岛地震M7.4

  • 节理岩石模型 (Jointed Rock model)



来源:计算岩土力学
Deform断裂UG岩土GeoStudio离散元MIDAS理论FLAC3D材料试验
著作权归作者所有,欢迎分享,未经许可,不得转载
首次发布时间:2024-05-03
最近编辑:6月前
计算岩土力学
传播岩土工程教育理念、工程分析...
获赞 147粉丝 1064文章 1782课程 0
点赞
收藏
未登录
还没有评论
课程
培训
服务
行家
VIP会员 学习 福利任务 兑换礼品
下载APP
联系我们
帮助与反馈