12GB 实现 128K 上下文 5 会话,IBM 预览 Granite 4.0 Tiny 模型

5月10日消息,IBM本月2日介绍了其Granite4.0系列模型中的最小版本之一:Granite4.0Tiny的预览版本。

Granite4.0TinyPreview的优势在于高计算效率和低内存需求:在FP8精度下,运行5个128KB上下文窗口的并发对话仅需12GB显存,一张建议零售价329美元(注:现汇率约合2383元人民币)的英伟达GeForceRTX306012GB消费级显卡即可满足。

Granite4.0Tiny计划的训练Token数至少为15T,目前Preview预览版本仅训练了2.5T,但已能提供与12T训练Token的Granite3.32BInstruct相当的性能,同时在128KB上下文窗口16并发会话下内存需求降低了约72%,预计最终性能可与Granite3.38BInstruct相当。

Granite4.0TinyPreview的总参数规模为7B,实际活动参数为1B,其基于被Granite4.0系列全线采用的混合Mamba-2/Transformer架构,结合了两者的速度与精度,降低了内存消耗而不明显损失性能。

Granite4.0Tiny的预览版本现已在HuggingFace上以标准Apache2.0许可证提供,IBM将于今年夏天正式推出Granite4.0系列模型的Tiny和Small、Medium版本。

文字来源于网络。发布者:锦鲤财经,转转请注明出处:https://www.xiandaicb.cn/6843.html

(0)
锦鲤财经的头像锦鲤财经
上一篇 2025年5月10日 下午12:07
下一篇 2025年5月10日 下午12:08

相关推荐

  • 海南通报一保洁掉包游客港币 酒店管理问题引关注

    海南省旅游文化市场行政执法局于4月26日发布通报,回应了朵女士在小红书上反映的一起事件。朵女士称,她在2024年7月入住嘉佩乐酒店期间,有19张面额1000元的港币被保洁员调包,导致她在澳门旅游时遇到困扰。近日,法院以盗窃罪判处作案人员有期徒刑一年六个月,并处罚金5000元。然而,嘉佩乐酒店尚未对朵女士进行赔偿。 对此,海南省旅游文化市场行政执法局高度重视,…

    2025年4月27日
    1400
  • 东部首轮最多打到G6 西部两组抢七 火箭勇士战至终章

    直播吧5月3日讯 NBA季后赛,火箭115-107击败勇士,系列赛拖入抢七。值得一提的是,东部四组首轮系列赛最多打到G6,西部两场抢七,掘金和快船,火箭和勇士。

    2025年5月3日
    1600
  • 四川特斯拉坠河致1死 车头损毁严重 事故原因调查中

    四川特斯拉坠河致1死 车头损毁严重 事故原因调查中!5月4日18时47分许,四川省达州市通川区塔环路与洲河大桥交叉口路段发生一起小型汽车坠河事故。事故发生后,公安、消防、医疗等相关专业力量迅速赶赴现场开展施救和处置工作。 车内共有两人,其中一人被救出且无生命危险。事故车辆已打捞上岸,驾驶人范某确认死亡。 事故原因正在进一步调查中。此前有视频显示,一辆车头损毁…

    2025年5月6日
    1200
  • 特朗普出访沙特前 美国务院批准35亿美元导弹军售

    美国国务院2日批准向沙特阿拉伯出售1000枚空空导弹,总额35亿美元。美国总统唐纳德·特朗普定于本月中旬访问沙特,预计双方届时将宣布巨额军售大单。 △美国国务院(资料图) 美国国防部2日发表声明说,国务院批准向沙特出售1000枚AIM-120C-8型“先进中程空空导弹”、50个配套制导系统以及其他相关设备和保障服务。 美国国防部下属的防务安全合作局已向国会报…

    2025年5月3日
    1800
  • 网信部门曝光第六批涉公共政策、突发案事件等网络谣言典型案例

    5月12日消息,“网信中国”公众号今日发文通报,近期,一些网络账号以滥用AI技术、嫁接拼凑等方式虚构突发案事件、编造公共政策、捏造社会民生领域谣言,误导网民认知,造成公众恐慌,扰乱社会秩序。网信部门指导网站平台持续加大监测和处置曝光力度,及时溯源并关闭谣言首发账号,累计处置相关违法违规账号2210个。 附部分典型案例: “AI预测彩票号码百分百中奖”谣言。一…

    2025年5月12日
    600

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信