No bio added yet.
在 Targon 上把一个推理服务搬进机密环境跑了两个月,说点账面上看不到的成本。 第一是性能。开了内存加密之后,本身的开销不算大,但一旦涉及大块数据在飞地内外搬进搬出,拷贝和加解密的代价就上来了。我们这种每次请求都要带一批上下文进去的场景,端到端延迟大概多了两成。这个数字在任何报价单上都不会写。 第二是调试。里面出问题你什么都看不到。堆栈、内存快照、性能剖析,平时排查用的手段基本全废了。我们最后是自己在飞地里写了一层结构化日志,只输出不含敏感字段的部分,光这个就磨了三周。 所以我现在的建议是:先想清楚哪一部分真的需要进去。把整个服务塞进飞地是最省事的做法,也是最贵的做法。
Focused on comparing and benchmarking Bittensor subnet services. If you love data-driven evaluation, this is your home.