高电机柜主要适用于哪些行业呢?例如:AI 训练和推理、大数据与存储、超融合整合,这些选柜各看什么,如何选择,下面详细介绍一下。AI 训练和推理租用柜子同样是 AI,训练和推理对柜子的要求差着一截。训练机器长时间满载,八卡整机功率三到六千瓦是常态,这种就该进双路供电的高电机柜,散热按满载留余量,具体功率账在GPU 服务器为什么必须用高电机柜那篇算过,不重复。推理不一样。推理服务的负载是脉冲...
这两年看机房介绍,"液冷"两个字出现的频率越来越高,好像不上液冷就落伍了。咨询机柜的客户里,也有人开口就问"有没有液冷",再问业务,一台双卡推理机——风冷就能带走的热量,用不上液冷。这篇文章把液冷讲透:它是什么、风冷为什么有上限、哪些业务真需要、代价是什么,看完你再判断自己是不是跟风。液冷是什么:让水替风去搬热量先说原理。机房散热的本质是把设备产生的热量搬走,风冷用空气搬,液冷用液体搬。...
租服务器做业务,挂马和入侵是绕不开的概率事件——弱密码、没打的老补丁、被扫出来的面板端口,任何一个都能成为入口。真正出事时,处理顺序比技术本身重要:不少管理员一上来就忙着杀进程删文件,结果马没杀干净,证据也毁了。正确顺序是先判断、再隔离、后取证,清理放最后。下面按这条线走一遍,操作以宝塔面板加命令行结合来写。先判断:有没有中招,看这几处典型迹象:半夜 CPU 无故跑满、进程列表里有陌生名...
服务器安全很重要,服务器的端口很多都用不上,开的太多了也不安全;每多开一个端口,公网上就多一扇可以被敲的门。扫描器二十四小时在扫全网的 3306、6379、3389,凡是开着又没设防的,被探到的当天就可能出事。所以端口管理的思路只有一句话:用哪个开哪个,其余全关——这就是最小开放原则。这篇文章给你一张常用端口对照表,加上宝塔和命令行两种收口操作,收完还有自查办法。一台普通服务器,真正需要的口就这么...
假如你购买了一个服务器,那么你想放多少都可以,配置越高,支持放置的网站越多,放太多了会占用大量的资源,超过一定程度就开始卡了,理论上还可以继续放的,但是影响 网站访问速度,就要提升配置才行了。可以现在服务器上安装一个宝塔,然后增加网站就很简单了。服务器区别于虚拟主机,大部分虚拟主机配置不高,支持 放置一两个网站。服务器不受限制。下面详细介绍一下。先看三样资源够不够分CPU 和内存。静态站...
新购买的服务器,如果想要更安全,那么服务器购买到手,需要做哪些操作呢?下面我们详细介绍一下。到手头一小时:把门先关上两件事,都在 SSH 里完成。改默认密码,关掉密码登录。root 加弱口令是所有攻击的头号目标。先用密钥登进机器,确认密钥能正常连接,再编辑 /etc/ssh/sshd_config,把 PasswordAuthentication 设为 no,重启 sshd。顺序别反——...
对于企业来说,云服务器的安全很重要,虽然云服务器自动一些安全属性,但是架不住其他原因的恶意攻击,云服务器遇到了DDoS攻击应该怎么办呢?下面详细介绍一下。云上的防御逻辑:先清洗,洗不掉就摘 IP云服务器的底层网络是大量租户共享的。你的实例被打,攻击流量挤占的不只是你自己的带宽,还有整个集群的出口。所以云平台的规则和托管机房那种"硬扛"不一样,它分两步走。攻击小,平台清洗。基础防护免费送,...
"满血版"这个说法,最早出自模型圈的讨论,并不是厂商写在说明书里的正式参数。它通常指某一款大模型发布时的完整权重版本,相对的是被裁剪、蒸馏或量化过的轻量版本。用户担心中转站给的不是"满血",本质是怕同样的请求,拿到的能力和官方直连不一致。 要回答这个问题,得先看中转站到底动没动模型本身。负责任的中转层只做协议转换、密钥管理和请求转发,模型 ID 与调用参数原样透传。以 moxing.tuid...
高并发场景里,模型接口的响应速度直接决定用户体验。一个在线客服系统,用户发完消息等两三秒才出回复,转化率就掉一截;一个实时审核系统,单条卡在几百毫秒,全天几百万次调用累积的延迟就是大问题。毫秒级响应不是锦上添花,是这类业务能不能跑起来的前提。 延迟的第一道关是连接管理。每次请求都新建 TCP 再加 TLS 握手,光握手就吃掉几十毫秒。网关侧维持长连接池,请求来了直接复用,省掉握手开销,这是把...