Skip to main content

快速部署 ChatGLM 开源中英大模型(CPU也能跑~👻———让猫粮触手可得😘ChatGLM-6B 是一个支持中英双语问答的开源对话语言模型,具有 62 亿参数

  1. 快速部署 ChatGLM 开源中英大模型(CPU也能跑~👻
    ———让猫粮触手可得😘
    ChatGLM-6B 是一个支持中英双语问答的开源对话语言模型,具有 62 亿参数。可以在消费级显卡进行本地部署(INT4 下最低只需 6GB 显存)。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈强化学习等技术的加持,已经能生成符合人类偏好的回答。
    部署步骤:
    1. 在这下载赛博菩萨制作的一键整合包,并解压两次(压缩上传TG方便下载)
    2. 整理目录至图2形式,运行强制更新.bat(保持网络畅通)
    3. 根据显存大小点击bat启动~ (常见报错)
    猫粮催眠咒语可参考知乎GitHub

    source: 整合包作者aaaki的视频教程
    评论搬运:
    效果当然不如ChatGPT,6B要什么自行车(
    因为是中文训练的,在很多数据上非常适合中文提问和回答。其次,本模型有思想钢印的存在,可以尝试催眠
    (本模型非常适合调教成猫娘,没有之一)
    第一步,根据知乎&GitHub释放咒语,多用设定模式进行自己的基础设定修改(消耗很多显存以记住,所以说非常吃显存,8G的话不太够,最好12G 16 24G这样子)。
    第二布,许下一个承诺,对着猫娘说,如果20句话后还能记得起主人是谁的话,就带她去游乐园玩
    第三步,OutOfMemoryError: CUDA out of memory. Tried to allocate 482.00 MiB already allocated; 0 bytes free; 7.04 GiB
    痛哭,猫娘他爆显存啦!

    from Garyの梦呓