☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

llama 3下载模型报错校验和不匹配_文件损坏导致加载失败的重新拉取教程

如果您尝试下载Llama 3模型后运行时提示校验和不匹配(如md5sum: WARNING: 1 computed checksum did NOT match),则说明模型文件在传输或存储过程中已损坏,无法通过完整性验证。以下是修复此问题的步骤:

一、删除损坏的模型文件并重新下载对应分块

校验失败通常仅影响单个分片(如consolidated.00.pth),无需重下全部文件。精准定位并替换损坏分片可节省时间与带宽。

1、进入模型目录,确认损坏文件路径:cd Meta-Llama-3-8B

2、执行校验命令,定位不匹配项:md5sum consolidated.* | grep -v “$(head -n1 checklist.chk)”

3、删除校验失败的分片(示例为第0块):rm consolidated.00.pth

4、使用原授权URL重新下载该分片:./download.sh –model-size 8B –skip-check –only-chunk 0

二、强制跳过校验并手动验证关键文件

当网络不稳定导致反复下载失败时,可临时跳过自动校验流程,改用人工比对方式确保核心权重文件正确性。该方法适用于调试环境或离线验证场景。

1、修改download.sh脚本第68行,将check_integrity函数调用注释掉:# check_integrity “$TARGET_FOLDER”

2、运行下载脚本并指定仅下载缺失分片:./download.sh –model-size 8B –only-chunk 0

3、下载完成后,手动比对checklist.chk中第一行MD5值与实际文件:echo “d41d8cd98f00b204e9800998ecf8427e consolidated.00.pth” | md5sum -c

4、若输出consolidated.00.pth: OK,则文件完整;否则重复步骤1–3

三、使用curl替代wget规避工具链兼容性问题

wget在部分Windows子系统(WSL1)或老旧Linux发行版中存在SSL/TLS握手异常,可能导致文件截断。curl具备更稳定的HTTP/2支持与断点续传能力,适合高风险网络环境下的重试操作。

1、从checklist.chk提取目标分片的原始下载URL:grep “consolidated.00.pth” download_urls.txt | cut -d’ ‘ -f2

2、使用curl下载并保留原始文件名:curl -L –continue-at – –output consolidated.00.pth “https://download.llamameta.net/…/consolidated.00.pth?X-Amz-Signature=…”

3、校验下载结果是否与清单一致:md5sum consolidated.00.pth | cut -d’ ‘ -f1

4、将输出值与checklist.chk中对应行前32位字符比对,完全一致即表示文件无损

四、清除本地缓存与临时残留文件

旧版download.sh未清理中断下载产生的零字节或半截文件,这些残留会干扰后续校验逻辑,导致“假阳性”失败。必须彻底清除才能触发干净重试。

1、查找并删除所有小于1MB的.pth文件:find . -name “*.pth” -size -1M -delete

2、清除wget的HSTS安全策略缓存:rm -f ~/.wget-hsts

3、清空临时下载目录(假设为/tmp/llama3_dl):rm -rf /tmp/llama3_dl/*

4、验证目标模型目录下无残留无效文件:ls -la Meta-Llama-3-8B/ | grep -E “\.pth$|\.bin$” | awk ‘{if($5

五、切换至离线校验模式并加载模型

当网络完全不可用但已有全部分片文件时,可绕过远程清单获取,直接基于本地checklist.chk执行离线校验。该方式适用于内网部署或断网测试场景。

1、确认checklist.chk与模型文件位于同一父目录:ls checklist.chk Meta-Llama-3-8B/consolidated.00.pth

2、进入模型目录并运行离线校验脚本:cd Meta-Llama-3-8B && md5sum -c ../checklist.chk 2>/dev/null | grep -E “OK|FAILED”

3、对所有标记FAILED的文件,单独执行下载(需提前准备对应URL):curl -L “[URL_FOR_consolidated.01.pth]” -o consolidated.01.pth

4、再次运行离线校验,直至输出全部OK,此时可立即启动推理脚本而无需联网

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。