| |
|
|
|
| 知识库 -> 数码 -> 个人微调大模型(7B)，最经济的硬件配置是什么？ -> 正文阅读 |
|
|
[数码]个人微调大模型(7B)，最经济的硬件配置是什么？ |
| [收藏本文] 【下载本文】 |
|
想自己炼丹玩，硬件如何选择能够省钱又够用？ 一块4090？还是多张2080、3080或多张p40？ |
|
V100-16GB*8 SXM2 |
|
|
拿去拿去，只要有3张4090显卡的预算，这个平台你直接搬走！ 经济不经济吧你就说。 别关注了，卖完了，没有了 。 2024.03.29 17.25分 最后一个也被人拍走了。 |
|
三张A100 80G。别给我扯什么lora qlora。垃圾。效果太差 |
|
看你怎么定义经济和够用了。我觉得算盘就挺经济，但我也觉得4090挺经济(￣▽￣)~* |
|
一张卡能搞定，就别用多张 7b 模型，如果全精度加载，需要 28g 显存，显然 1 张4090 是不够的。 但是个人玩，半精度就足够了，大概 14g就行，微调用 lora 或者 qlora 也够用。 4070ti s，4080 和4080s 都有 16g，够用了，4090 的 24g 在这里有点浪费。 |
|
|
不过，如果不考虑速度，其实 3090 也不错，24g 显存，速度比 4090 慢一些，个人玩也足够了。 以后玩其他模型，或者ai 画画也能用得上，毕竟显存越大，出来的老婆越清晰～ |
|
蟹妖 虽然我不太懂这些什么建模啊渲染啊 但是我知道 这玩意真的吃显卡 查了一下 微调大模型（7B）要28G显存 4090吧 肯定是不够用 毕竟只有24G显存 玩着玩着就爆了 工作搞一半电脑就摆烂 心态爆炸 而且要1.5w 没有任何性价比 我推荐吧 最经济实惠的 就是去闲鱼买垃圾 显卡 用rtx5000 4000元左右 核心是2080s的核心 这时候就有人要喷了：4000块 买个2080s 是不是傻逼啊？ 可是… 它有16G的大显存啊！加上老黄对图形卡的变态优化 使其建模渲染丝滑一匹 只要4000块！不到4090的四分之一 不够用的话可以再买一张双卡交火 32G显存 太残暴了 板u用3960x 24核48线程 工作力拉满 内存用3200 16g*8 八通道运行 获取最大的读写速度 一条200左右 d4跳水价 可以入手 其他的自己安排 建议电源用1000w 散热用风冷 稳定 耐造 便宜 储存的话自己斟酌 我也不知道具体要多少 毕竟我只打游戏（doge AI跑图也没有问题 32G显存画出来的老婆肯定很大吧～～（doge 3月27日更新 忘记补充一点题外话 RTX5000采用 AV1 编码技术的第八代专用硬件编码器（NVENC）效率比 H.264 高 40%，这使得用户可以将直播分辨率从 1080p 提高到 1440p。正所谓九一主播居家必备～～啊呸 不小心暴露了 当我没说（doge 最后送各位老色逼一张图 |
|
|
百度孙吧 你值得拥有 3月28日更新 考虑到啊 这个我国人均收入才3w 买台电脑占一半 所以啊 我就想到另一个方案 比较垃圾佬风格 板u换做作x99双路加上两颗e5 2680 v3 一颗75 两颗150 多核性能直追5950x 搞个鸡血bios还能够让CPU保持睿频运行 榨干CPU d3ecc内存便宜得称斤卖 省下不少钱 省下来的钱够你去浴足店做几套放松放松了 啊呸呸呸 是洗脚 打错字了（bushi) 然后啊 评论区有人说不如两张22g2080ti交火 但是吧 老黄对图形卡有优化 建模的效果肯定比我们这些普通的游戏显卡好 所以不要再说2080ti啦 谢谢你！ 3月29日更新 由于我的脑残 把rtx5000想成32G显存啦 真是不好意思（bushi）所以吧 现在有两个方案可行 第一个 两张魔改22G的2080ti 加起来44G显存 两张加起来4000多 第二个嘛 就是4张p40加上一张2080ti亮机 4张p40总共64G显存 2080ti负责运算加亮机 我觉得可行 【以上开车内容纯属瞎编娱乐 请勿当真 打击黄赌毒 人人有责（bushi）】 有问题可以私信我哦亲！制作不易 给个不要钱的赞吧亲 肝死我啦 |
|
去AutoDL上租两块钱一个小时的服务器 补一下图： |
|
|
|
|
看数据量，如果数据量比较大，需要多张4090，微调数据量较小可以用1块4090。如果训练7B大模型的话，有4-8张4090最佳。 当然现在有很多2B左右的小模型效果也不错，如phi-1.5B，Qwen-1.8B等。这些小模型用高质量的数据训练得到的效果甚至高于Llama-7B的效果，也是未来发展的一个方向：把大模型做小，让中小企业和个人用户可以玩的起来。 |
|
淘宝二手p100 + DIY风扇 |
|
|
| [收藏本文] 【下载本文】 |
| 上一篇文章 下一篇文章 查看所有文章 |
|
|
|
|
娱乐生活:
电影票房
娱乐圈
娱乐
弱智
火研
中华城市
印度
仙家
六爻
佛门
风水
古钱币交流专用
钓鱼
双色球
航空母舰
网球
乒乓球
中国女排
足球
nba
中超
跑步
象棋
体操
戒色
上海男科
80后
足球: 曼城 利物浦队 托特纳姆热刺 皇家马德里 尤文图斯 罗马 拉齐奥 米兰 里昂 巴黎圣日尔曼 曼联 |
| 网站联系: qq:121756557 email:121756557@qq.com 知识库 |