观点 / 方法普通
Hugging Face 增量上传省下 239GB 流量
原始标题:fun stat from @microagi’s write-up on shipping petabytes of robot data:
内容摘要
来自 @microagi 关于传输 PB 级机器人数据的文章里有个有趣的数据: 他们向 Hugging Face 重新上传了一个 239 GB 的数据集,只做了小幅修改。结果只有 2.6 MB 走了网络,大约一分钟就完成了(!) 而且这在规模化时持续见效,因为机器人录制数据高度重复(相同的场景、相同的设备)。然后 @Cloudflare workers 把它分发到任何云,超过 1 PB 只需约 500 美元 团队写的这篇文章很棒:https://www.microagi.ai/articles/delivery-platform
内容分类AI 观点与方法
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Thomas Wolf(Hugging Face 联创/CSO) (@Thom_Wolf)
站内情报编号intel-405ab7052b64f3b402a62690