垃圾佬的服务器 (家里开IDC系列)_

作者：MistyMoon

继上篇垃圾佬的家庭网络 (家里开IDC系列)，本篇为垃圾佬的服务器 (家里开IDC系列)

每个人对需求是不一样的，合适自己最好。本篇文章分享为主。下面为本人的观点，难免会有些认知误区，烦请大佬指点下，但是拒绝杠精。你杠你对。

丑话说前头，可能很多人对我的业务比较感兴趣，我只能说我在跑的业务比较杂，至于细节就不可能会告诉你啦，要赚钱自己想办法去。如果有一天我告诉你们如何赚钱，那一定是我在骗你们并且看上你的本金！

比如前段时间比较火的开幻兽帕鲁服务器（这个大家都知道，废话）

总之我本人的核心需求就是更强的服务器，更大的内存，以及一点点的技术和资金.....

如果你们业务需求需要高SLA（Service Level Agreement 服务等级协议），那么本篇可能不太合适你，这里只能提供如何捡垃圾来组合超高性价比的服务器集群的思路，机器炸了自行负责。

CPU选型篇

当然核心思路是在有限的体积中选取更多的核心数，更大的内存，和更丰富的拓展性能以及更好的能耗比。所以机架式2U服务器无疑是最综合的选项，期间我也会试试其他类型的服务器，比如1U和 4U 服务器。当然最关键的还是价格以及超高的性价比。至于噪音的问题，后面场地篇中会提到，保证立马见效。

当然单纯DIY 也可以，只是对我来说购买服务器准更方便点，买到手基本装U装内存装硬盘就可以上机跑了。不用自己操心电源，散热，机箱等等问题。而且价格相对来说更便宜些，市场保有量更大些。而且我也是机柜党。

根据我实际情况，我本人首选 EPYC 罗马和米兰，以及未来可能会入手 EPYC 9004，可以说是近几年最让我惊喜的U了，从第二代罗马开始，每颗EPYC都拥有最高 64C 128T，8通道， 128条PCIE4.0。至于牙膏阵营，我也测试过牙膏 3647的双路8222L，效果也不太理想，虽然某些方面比AMD会好些，比如支持傲腾内存（傲腾内存要是能用上就真香，用不上就很尴尬，曾经有一段时间业务用上傲腾，后来出于某些原因ALL IN 内存了）。如果单纯算RX的话，双路8222L (单颗TDP 200W) 打不过一颗解锁功到160W 全核心3.0 GHz 的EPYC 7D12，大概相差了有 35%的样子。总之接触过一段时间，感觉intel的服务器U不咋理想，相比intel我还是更喜欢EPYC些。目前服务器中除了软路由器和测试服务器是 intel的，其他几乎全是EPYC了。如果你对我软路由比较感兴趣的话，在上篇垃圾佬的家庭网络 (家里开IDC系列) 中有提到，也是目前我最关键的服务器之一。当然也有些例外，前段时间某个业务需要超高主频，所以不得不考虑 intel的消费级平台 13700K关闭小核。主板则为超微X13SAE-F 且支持双X8（不能没有IPMI，就像西方不能失去耶路撒冷！）。不过还是吐槽下这个板子多少还是有点小问题，但好在都能绕过去不影响。

当然如果你啥也不懂的话，那你还是选intel服务器吧，性能可能差点，但绝对没啥坑。总之 AMD 的EPYC还是要有一定的技巧才能玩得转，比如绑定NUMA，调整cTDP，修改NBIO配置等等都基本运维操作啦。

至于某些人最在意的待机功耗问题，EPYC的待机功耗相比intel 确实高不少，但是在我这里根本不存在这个问题，我服务器都是拿来跑的，不是当花瓶供起来的。但凡负载上不去还不如关机了回家种地。以下为我其中一台华硕 RS500A的1U服务器，配置大致为单颗EPYC 7D12 + 八条 64G 4DR 2400Mhz 内存，组成一台 64C128T + 512G memory 的 VM服务器。系统为PVE，下图为我服务器日常负载，就是这么高，CPU 内存双双干到90%。只需要注意控制下负荷，不影响到IO延迟即可。

7D12篇

EPYC 7D12是我入坑 EPYC的第一颗U，当时购入价格 1K5吧，三年前的事情了。我们也算是最早一批发现这个CPU的，并进行了大量的测试和研究，并且成功解锁到全核 3.0 GHz，也吃了一波时代的红利。（曾经的一颗7D12 跑某个项目一天 300元收益）

总之当时把我惊艳到了，手里的X79 X99 服务器都不香了。立马卖了转向 EPYC。对我来说除了不能八通道和双路，这颗U几乎没有任何短板了。

为此对这个U，超微H11SSL/H12SSL 显然不太合适，就八槽内存，无法发挥 EPYC 大内存的优势，我个人感觉比较合适的板子是单路 16槽的EPYC主板，比较典型的代表是 KRPA-U16和 MZ32之类的。某段时间闲鱼看到华硕的 1U 单路EPYC准，型号为华硕RS500A-E12U，主板是 KRPA-U16（还是有点细微区别），价格为800元，闭眼睛入手四台。令我比较惊喜的是这个服务器的背板是 12盘 2.5 全三模背板（支持NVME SAS SATA），也就是说买回来只需要配上对应线材就拥有 12盘 U2 的全闪NAS！

可惜好景不长，虽然此服务器支持 4.0，但是这个比较看脸，有的服务器支持PCIE4.0的U2 SSD比如 1733或者CD6且不报错，表现为 linux中 dmesg显示 pci error。能稳定跑，但是也有些服务器会报错，经过研究应该是发现板子的PCIE拉线的信号质量不行，同时说明文档也很诚实提到只有个别的插槽可以PCIE4.0，均为离CPU最近的PCIE插槽。其余的比较远的PCIE插槽则仅支持PCIE 3.0。不过好在购入价格足够低，能接受美中不足。总之在我这里，目前这种服务器都当VM资源机器了。一个系统盘就够。

尽管这颗型号的U，经过数年数次价格调整，最高卖到3K多，最低也卖过650元一颗，但不管怎么说也算是我心目中一代神U了，性价比放今天看起来仍旧属于第一梯队。前提是你能找到很便宜的单路准或者板子，板子倒是见过350元的 EPYC板子，不过机箱难配故弃坑。更何况现在 E5 V4和 3647 都已经白菜价格了，EPYC 7D12 (7002) 价格仍旧很坚挺足够说明一切了。

其他EPYC

后面也陆陆续续入手过一些不少其他型号的 EPYC，正式版 ES QS都玩过，只能说各有千秋吧。 ES 其实不太推荐小白玩，体制很差，挑板子+必须软超频才能用，但也是真的便宜，能做到正式版的一半不到价格，八成性能。QS基本可以看作能超频的正式版，体制可能稍微差个5%的样子，但是能超频 + 更便宜的价格足够抹平一切缺点。

我个人感觉性价比比较高的是 EPYC 32C的 CPU，我这边基本均价 1x00购入一颗 32C的EPYC。 64C的基本得要 4000元往上了。而且你买两颗 32C 的EPYC 几乎等效于单颗的64C EPYC，价格还能省去一小半。至于主板，我是觉得真没啥区别了，不管单路还是双路都差不了几个钱。更何况双路服务器准市场保有量比单路多太多了。

所以我这里大部分EPYC服务器配置是双路 32C。比如 7532, 7452 和7513等等。部分是单路 32C ，清一色 7D12。当然也有 64C 的EPYC， 7B13，不多。

服务器选型

这里还是要科普一下知识，EPYC SP3插槽中就 7001 7002 7003 这三代，分别代号为那不勒斯，罗马和米兰。这里及其不推荐第一代EPYC，相比第二代差太多。也不在本文章讨论范畴内。至于罗马和米兰，我是没感觉太多的区别。这么便宜就怎么来。这里就涉及到服务器/主板的选型。以超微为例，H11 只支持 7001/7002， H12只支持7002/7003。这里最主要的区别是前者只能pcie3.0，后者可以pcie4.0 （虽然H11也能强行开pcie4.0，但是主板厂家为了换代还是做了区分）。绝大部分服务器/主板也是这个规律。当然也会有些例外，比如国鑫SR201，7001/7002/7003 甚至海光U 都通杀，换个BIOS的事情。主板上面的 BIOS ROM基本为32MB，也就是说最多放两代的CPU BIOS进去。也就很好解释为什么 BIOS或者主板只能7001/7002 和 7002/7003。不过我研究发现这些BIOS 都是双分区的，是通过检测CPU是什么来启动什么分区的BIOS。比如一台服务器，装上不同代的EPYC，启动的BIOS编号也不一样。也就是说理论上ROM够大，三代是可以同时支持，或者 32MB ROM你也可以放7001/7003 这双分区的BIOS（估计没几个人这么闲）。

弄清了这个逻辑，所以你的服务器或者板子支持不支持到7003, 最关键是要看厂家有没有提供这部分的BIOS。没BIOS直接GG。

所以下面就区分两种服务器准，一种为米兰EPYC准，为 7002/7003。几乎都自带PCIE4.0（但不一定都支持）。另一种为罗马准，为7001/7002 ，基本是PCIE3.0。

米兰双路 2U服务器准中比较典型的代表是华三4950G5 和国鑫SR201，和一些其他奇奇怪怪的服务器准，购入均价基本都在1600元这个价格吧。相对来说我比较喜欢 12盘3.5的。因为 24盘小盘全NVME几乎不现实，而且我也不打算上任何 SATA SAS 的 SSD盘。2.5盘SSD 只用 U2盘，所以还不如 12盘3.5了，起码 2.5 U2盘和 3.5 机械盘都能用。其中国鑫是1500元单台 12盘 3.5 NVME SATA SAS 三模背板， 1600W双电，满配RISER，很爽啦。

米兰单路准便宜的目前也就看到华硕RS500A，上面也提到了，12盘 2.5 NVME SATA SAS 三模背板，购入价格 800元，不过我都拿来装7D12。

（当然现在没这种价格了，好价不等人啊，先冲为敬）

罗马准选择就非常多了，800元一台 2U双路服务器准都有（我可不打算说具体型号

至于主板，基本就超微H11和H12这两个，有时候真感慨这玩意也太理财了吧。不过都在跑业务ing 同时嫌烦，不然早拆开卖了换服务器准。

内存

这个感觉好像没啥好说的哎，就DDR4，频率实测影响不大，主要体现在时序和RANK数量？ 2R相对来说会好些，主要体现在宽带和兼容性方面。4DR则需要注意部分服务器可能不支持的问题。我这边大量的也就 16G 2R 2400Mhz 和 64G 4DR 2400Mhz 这两种规格的内存，其他规格的内存很少买。需要注意颗粒频率是对应的就基本没啥坑。

总之通道优先，32C最好四通道起步， 64C 则要八通道内存了。至于容量，按需选。当然你也可以插满内存！一台服务器插32条内存。

测试

因为我图便宜，所以购入的服务器基本以二手为主。但是由于各种原因，更不明确上个使用者的使用方式。所以测试环节还是很有必要的，或者也可以称之为老化测试。所以确保有一台完好无任何问题的服务器和CPU以及内存来做对照测试。网上有很多如何测试服务器的教程，而且每个业务需求不一样，测试侧重点也不一样，这里就不再多说。总之环境温度下，全部硬件满负荷测上一两个小时无任何报错就基本没啥问题了。这里推荐用linux拉负荷看dmesg error和warning。注意BIOS不要关闭aer即可。确保机器硬件没任何问题再上生产环境。有条件的话可以配个热成像仪，方便看散热 OR 找问题。比如下图的服务器，其中两台风扇故障，表现为开机即满速，两万转风扇能吵死人，故拆了换个普通的小风扇贴上去，经过测试足够给中间部分的内存做风道并散热了。内存应该控制在 55℃，CPU应该控制在 70℃内比较安全些。

按照我的经验，只要服务器和CPU以及内存都是正常下机，且存放环境和运输过程无任何明显磕碰的问题，基本都不会有太大的事情。同时我也挺乐意去赌一些卖家看起来坏的机器，以极低的价格买过来并且稍微修一下就能用。目前我最强的战绩是 650元单价购入了两台米兰双路服务器准，表现为一个进不去系统，另外一个第二槽CPU插槽针脚歪了。买过来后我研究了下 BIOS被动过（非原版BIOS，至今不理解为什么要动BIOS），重新刷了下原版BIOS就正常了，至于针脚歪了，拿个镊子挑一下的事情也不难。目前都跑了几个月一点事情都没。真捡垃圾并废物利用！

场地

很多人关心服务器的噪音如何解决，我这里就提供一个思路，就是自建机房，拿彩钢板阻燃泡沫夹心来做隔音。门一关啥声音都听不到了。就这么简单粗暴。你们也甭给我说什么成本啊，没地方啊。那是你们自己的问题，自己想办法解决去。与我无瓜。

如图可见，我的服务器基本都是空1/3U 来摆放，用的 L滑轨。一个标准42U 机柜按极限情况能堆 16-18台服务器进去，当然对电力也是一个不小的挑战。单个 2U 双路 32C EPYC服务器纯CPU + 内存不包含硬盘和显卡。整机满载功耗差不多在 450W-550W（风扇转速影响也很大，取决于环境温度）。我这边基本没GPU业务，所以不考虑GPU，只算硬盘，单个服务器能上 12盘机械盘，差不多功耗多个 100W，所以整机 650W-700W来算比较合适些。也就是单柜需要10KW - 12KW的电，双 32A PDU 解决。需要注意PDU 一个是左进线一个是右进线，左右竖立并排，有4平方以上电缆，都单C32 空开。

标准机房应该是一路市电一路 UPS电，我这边机柜则是双市电， UPS（在机柜下方）接市电然后再出来一个 8位PDU即可。一般仅只供网络设备来供电，这样就是市电断电了也能远程回去并操作。