12GB 实现 128K 上下文 5 会话,IBM 预览 Granite 4.0 Tiny 模型

5月10日消息,IBM本月2日介绍了其Granite4.0系列模型中的最小版本之一:Granite4.0Tiny的预览版本。

Granite4.0TinyPreview的优势在于高计算效率和低内存需求:在FP8精度下,运行5个128KB上下文窗口的并发对话仅需12GB显存,一张建议零售价329美元(注:现汇率约合2383元人民币)的英伟达GeForceRTX306012GB消费级显卡即可满足。

Granite4.0Tiny计划的训练Token数至少为15T,目前Preview预览版本仅训练了2.5T,但已能提供与12T训练Token的Granite3.32BInstruct相当的性能,同时在128KB上下文窗口16并发会话下内存需求降低了约72%,预计最终性能可与Granite3.38BInstruct相当。

Granite4.0TinyPreview的总参数规模为7B,实际活动参数为1B,其基于被Granite4.0系列全线采用的混合Mamba-2/Transformer架构,结合了两者的速度与精度,降低了内存消耗而不明显损失性能。

Granite4.0Tiny的预览版本现已在HuggingFace上以标准Apache2.0许可证提供,IBM将于今年夏天正式推出Granite4.0系列模型的Tiny和Small、Medium版本。

文字来源于网络。发布者:锦鲤财经,转转请注明出处:https://www.xiandaicb.cn/6843.html

(0)
锦鲤财经的头像锦鲤财经
上一篇 2025年5月10日 下午12:07
下一篇 2025年5月10日 下午12:08

相关推荐

  • 中日第三次就日本水产品输华问题谈判进展 双方深入交换意见

    5月9日,外交部发言人林剑主持例行记者会。日本共同社记者提问,昨日中国和日本有关部门就日本水产品输华问题进行了第三次谈判,询问谈判是否取得了积极进展以及恢复日本水产品进口的前景。 林剑表示,5月8日,中国海关总署应约同日方就日本水产品的安全问题进行了技术交流,双方深入交换了关于加强水产品检验监测、确保质量安全的意见。 中方强调,恢复日本水产品进口需基于中方持…

    2025年5月9日
    1100
  • 韩一男子谋杀同居女子被捕 警方对峙四小时终制服

    韩一男子谋杀同居女子被捕! 韩国仁川地方法院于4月24日发出逮捕令,逮捕了一名50多岁的男子。该男子在被拘留前杀害了他的伴侣,并与警方对峙了四个小时。 事件发生在21日晚上11时12分左右,嫌疑人于仁川美中区的一个公园内杀死了一名50多岁的女子,两人处于同居婚姻状态。随后,他逃到约30公里外的京畿道果川市首尔大公园,并与警方展开了长时间对峙。 期间,嫌疑人威…

    2025年4月27日
    1600
  • 九州风神公布 2025 台北展新品:第二代冰立方风冷可选木艺顶盖

    5月16日消息,九州风扇刚刚公布了其出展COMPUTEX2025台北国际电脑展的新品阵容,除今日开售的阿萨辛4VC至尊版WH外还包括多款散热与机箱。 其中在风冷方面,九州风神将推出第二代冰立方散热器。该系列产品对热管进行了全新优化,支持LGA1851和AMDAM5平台的偏移式扣具,具备ZeroRPM启停和ACT自清洁技术,可通过AI智能模式实现噪音与性能平衡…

    2025年5月16日
    900
  • 水井坊14年内7换掌门!水井坊再次迎来新总经理

    在宣布2023年及2024年一季度业绩的同时,水井坊官宣迎来新的掌门人。 4月27日,四川水井坊股份有限公司宣布完成工商变更,蒋磊峰正式出任公司法定代表人。天眼查App信息显示,在近期的高层变动中,Mark Anthony Edwards已卸下了法定代表人和总经理的职务,由蒋磊峰接替其位置,并且有多位高管发生了职位变更。 根据同期发布的财报信息,水井坊在20…

    2025年5月14日
    1200
  • 魅族 Note 16 手机搭载 120Hz LCD 直屏,Pro 版搭载 144Hz 屏

    5月10日消息,魅族Note16系列暨FlymeAIOS生态发布会将于5月13日14:30举行,官方今日继续对新机预热。 据介绍,魅族Note16Pro搭载144Hz1.5K高亮护眼屏,4500nits的局部峰值亮度,旗舰同款如然护眼技术。魅族Note16搭载120Hz1080P高素质LCD直屏,1050nit超高亮度,通过泰尔低风险舒适度护眼认证。 此外,…

    2025年5月10日
    1700

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信