这两年看机房介绍,"液冷"两个字出现的频率越来越高,好像不上液冷就落伍了。咨询机柜的客户里,也有人开口就问"有没有液冷",再问业务,一台双卡推理机——风冷就能带走的热量,用不上液冷。这篇文章把液冷讲透:它是什么、风冷为什么有上限、哪些业务真需要、代价是什么,看完你再判断自己是不是跟风。液冷是什么:让水替风去搬热量先说原理。机房散热的本质是把设备产生的热量搬走,风冷用空气搬,液冷用液体搬。...
新购买的服务器,如果想要更安全,那么服务器购买到手,需要做哪些操作呢?下面我们详细介绍一下。到手头一小时:把门先关上两件事,都在 SSH 里完成。改默认密码,关掉密码登录。root 加弱口令是所有攻击的头号目标。先用密钥登进机器,确认密钥能正常连接,再编辑 /etc/ssh/sshd_config,把 PasswordAuthentication 设为 no,重启 sshd。顺序别反——...
做电商详情页的客户问:每天要出三百张图,得租一张什么卡?这类需求不该从"哪张卡出名"入手,该从显存和并发倒推——出图和模型训练是两种活,训练比的是算力总量,出图比的是显存装不装得下模型、能不能多开几路。先看清 AI 绘图怎么吃显存出图时,模型整个常驻在显存里:SDXL 底模加常用 LoRA 大约占 8 到 12G;Flux 这类新一代大模型,12G 卡装不下,起步就要 16 到 24G。...
对于企业来说,选好机房才能让服务器更加稳定,也是业务起步的第一步,作为企业来说,如何选择IDC机房呢?市面上的机房供给方大致分四类。类型定了,后面比价格、比线路才有意义。运营商直营机房电信、联通、移动自己建的机房,带宽资源是一手的,价格体系偏硬,跨网质量看机房所在位置。流程规范,灵活度低,临时加带宽、改配置往往要层层审批。适合带宽量级大、能接受标准流程的业务。第三方中立机房不绑...
选中转站别凭感觉,按流程走一遍,结论会清楚很多。下面这套步骤不需要什么工具,一张表加几笔真实请求就能跑完。 先定需求权重。把模型覆盖、延迟、预算、稳定性、易用性、合规这几项列出来,按项目重要性分配权重。做对话机器人和做批量文本处理,权重完全不同,先想清楚自己更在意哪一头。 然后粗筛。用硬性条件把明显不合适的砍掉:不支持目标模型、没有需要的节点区域、报价超出预算、主体资质查不到。这一步不追求...
服务器托管是你自己的机器放在IDC机房,IP 暴露、资产在你手里,被攻击时人下意识的反应往往是先重启,而不是先扛流量。这篇先把"被攻击了怎么办"说清楚,再说"高防机房怎么挑"。先止血:被攻击那一刻该做什么 发现宕机先别急着重启。第一步联系机房值班,确认是流量型攻击还是已经被打到黑洞;很多机房对异常流量会直接黑洞路由,机器暂时"消失"但保住了底层。第二步,确认你的业务 IP 能...
国内跑大模型应用的团队,手里的调用入口大体分三类:聚合网关型、厂商官方型、开源自托管型。三类定位不同、适用场景不同,看清区别比盲信任何一份推荐榜单都重要。 第一类是聚合网关型。代表就是以 moxing.tuidc.com 为代表的统一网关,把文心、通义、智谱、DeepSeek、豆包等国产模型收在一个 Key 下,向上只暴露一套调用约定。它的长处是少写适配、好切换、带容灾和统一账单,适合要用多...
不少刚接触大模型的团队都有同一个困惑:各家模型官网都能直接调用,为什么还要在中间加一个"中转站"?把中转站的运行逻辑拆开看,其实就五分钟的事。 中转站本质是一个中间层代理。业务系统不直接对接模型厂商,而是先把请求发给中转站,由中转站再去连背后的各家大模型。这一层不生产智能,只做请求的搬运、改写和归拢。腾佑科技旗下的 moxing.tuidc.com 这一调用入口,就是把这个代理角色封装成了统...
企业把大模型接进生产系统,第一道坎往往是安全。语料、客户信息、内部文档都可能经模型流转,一旦泄露后果比普通接口严重。企业级 API 平台把防护做在网关层,业务侧不用自己从零搭一套。 传输环节全程加密。请求和响应走 TLS,内部服务之间也用加密通道,明文不落中间节点。密钥由平台统一托管,按租户隔离,企业自己的调用密钥和上游模型的密钥分开存,一处泄露不影响另一处。 访问控制要细到接口级。谁能调...