pve规划
硬件
主板使用 华硕 PRIME B760M-K D4:
2.5G网卡,用于pve主网卡,虚拟机则使用桥接虚拟网卡
2个PCIE x1插槽,每个插槽可以接一个PCIE 2.5G网卡,可以直通给NAS系统使用,避免使用虚拟网卡带来的CPU消耗和带宽损失
2个DDR4内存插槽:插两条DDR4 3200Mhz 16G内存,多开虚拟机非常消耗内存,D5内存目前太贵了,买D4的就行
4个SATA接口,直通给群晖使用

BIOS:
进入BIOS:按下 <Delete> 或 <F2> 键
CPU使用英特尔® 酷睿™ i5-12490F 处理器,支持VT-x虚拟化,6核12线程,主频最高4.6GHz,性能够强,拓展性好,并且价格便宜。
机箱:星之海射手座8盘位机箱,带8个热插拔的硬盘位和2个普通硬盘位,主板和硬盘分仓设计,支持M-ATX主板和ATX电源,量大管饱。
供电:CPU的TDP为65W,主板上的风扇、内存、固态啥的加起来算50W,满载10个硬盘算20W*10=200W,电源效率80%,算出 (65+50+200) ÷ 80% = 394W。买的是振华450W电源,够用就行。
内存:16G DDR4 3200Mhz * 2 = 32G,多开虚拟机,内存大很有必要
系统盘:希捷1T固态,PCIE 4协议,作为系统盘,速度要够快
NAS硬盘选购:
硬盘怎么买能避雷?哪个品牌更划算?|最全硬盘横评_哔哩哔哩_bilibili
买监控盘,功耗低,适合7*24小时工作
- 西数紫盘4T:500出头的监控盘
- 希捷酷鹰4T:500出头的监控盘
散热:因为机箱较小,CPU散热用的是下压式风扇,乔思伯HX4170D,能压170W,对付这颗U绰绰有余;主板上自带了散热金属片,没有其他发热大户,不加额外风扇。硬盘仓加2个常规的PWM调速机箱风扇,以应对硬盘高速运转时产生的热量,毕竟8块硬盘叠叠乐,不加风扇怕是扛不住。
显卡:淘个几十块的亮机卡,装机结束了就拆掉,主要用途的当服务器,用不上显卡,省电又省钱。
超能课堂(89):不用担心会插错,PC电源供电接口逐个看 - 超能网
架构
磁盘阵列
什么是磁盘阵列?15种RAID优缺点详解 (RAID5 RAID6 RAID10 RAIDZ SHR UNRAID)_哔哩哔哩_bilibili
PVE
PVE使用注意:强制关闭虚拟机,到pve左侧列表栏右击,然后选择停止,不要在右边选停止,会卡死。
拔掉显卡后pve无法启动,网卡灯不亮:【已成功验证】debian/PVE安装好后拔显卡后连接不了网络(pve无显卡启动遇到的问题)_pve网口不亮-CSDN博客
软路由小白到专家的课程思路,成为专家的捷径!_哔哩哔哩_bilibili
PVE直通原理讲解,10分钟理解直通,新手小白必看!!_哔哩哔哩_bilibili
实时查看cpu频率:i7z
硬盘直通/SATA控制器直通:PVE硬盘映射与SATA控制器直通
安装群晖:PVE安装黑群晖DSM7虚拟机及直通设置 – MSTG-Blog
网络NAT:家庭网络优化指南:提升NAT类型,降低游戏延迟、提高下载速度 – 猫点饭
两个SATA控制器,其中Intel的为板载的,有4个SATA接口;另一个为ASM1166主控的M2转SATA转接卡,有6个SATA口
SATA转接卡性能测试:
先用4块磁盘组RAID1,然后连续写入大量数据,测试极限状况下的写入性能
1 | |
存储规划
PVE物理机:
- 1T SSD存储:速度快,用于PVE系统安装、VM安装、LXC容器安装
- PCIE转4个SATA
群晖:
RAID1热备 OR 冷备?
群晖
国产最强自动化黑群晖引导制作工具:RR项目 by wjz304 - 我不是矿神
SynoCommunity - 群晖第三方套件中心:131 款开源群晖套件 - 小众软件
PVE安装群晖步骤:
界面创建VM虚拟机,不要磁盘,记住VM ID
上传引导到pve,然后执行命令转换引导磁盘:
1
qm importdisk $vm_id /var/lib/vz/template/iso/$file_name local-lvm在pve界面上添加该引导磁盘为sata0,然后在引导处选择sata0作为唯一的引导
启动虚拟机,进入rr引导,选择 config boot loader
打开引导的web页面,选择下面的配置,然后开始build boot loader
- 机型:SA6400
- 群晖版本为7.2.2-72806
build成功之后,开始boot loader,现在可以输入群晖的IP和端口号,开始安装群晖了
拔掉路由器的WAN口网线,安装过程需要断网,否则会安装失败
手动上传之前下载的.pat文件(DSM_SA6400_72806.pat),然后等待安装完成
安装完成,等待10分钟后重启即可
直通板载的SATA控制器给群晖,然后重启,开机时会在SeaBIOS处等一会,不是卡死了
注意事项:
- sata0是群晖的引导盘,不要误删除了,可以定时给他备份。
- 即时引导盘出了问题,或者系统崩溃了,重新安装群晖,只要数据盘没损坏,数据就能恢复(但是应用应该恢复不了了)
- 如果数据盘损坏了并且没有对应的冗余策略的话,数据就丢失了
磁盘规划:
sata0:rr引导盘,PVE分配的虚拟盘(3.5G),负责引导群晖OS,非常重要,PVE中的备份选上
sata1:群晖系统盘,PVE分配的虚拟盘(128G),群晖OS本身安装在这里,群晖套件、群晖的用户配置、docker等都安装在这个上面,PVE中的备份选上
直通板载的SATA控制器,有4个硬盘位
- DISK1:4T机械,存放文档、照片、代码等重要数据
- DISK2: 4T机械,存放影视资源,当下载盘用
- 另外两个盘位先空着,等有需要了再加硬盘
USB接口接上移动硬盘,然后USB直通给群晖,这样就可以直接在群晖和移动硬盘之间拷贝数据了
测试局域网通过Wifi访问的速度:
应用
影音服务
安装Emby社区版,体验更好
Emby影视剧命名规范:TV Naming | Emby Documentation
不要安装Video Station:7.2版本后需要手动安装,不支持大部分编码格式,视频解码失败,垃圾中的垃圾!
影视资源:通过emby在线播放,emby安装TMDB刮削插件,然后修改TMDB的host配置(解决NAS影视库(Jellyfin/Emby/PLEX)刮削问题)
学习视频:使用vidhub,挂载smb文件夹,体验更好,也可以记录播放进度
相册管理
- 群晖自带的Photos
- immich-app/immich
资源下载
开一个windows虚拟机,里面安装百度网盘、迅雷等软件,然后挂载smb共享目录,将资源下载到NAS的目录中。
资源下载:
- 各种网盘资源,百度开了会员,其他的没开会限速
- BT等P2P的下载,需要做种,伤硬盘(可以用二手硬盘做种,坏了不心疼)
- Bilibili下载:使用BilibiliDown
BilibiliDown下载工具
- 设置下载文件命名规则:UP主名称-合集名称/AV号-合集视频号-视频名称-AvId,UpName-(:listName listName)\pAv2-pDisplay2-avTitle-avId
- 设置下载路径
- 下载UP主的合集:不能直接输入链接,见下面的转换
- 下载选集:直接输入视频链接
- 下载自己的收藏夹:直接输入收藏夹链接
下载某个UP主的合集:
1 | |
备份
数据备份:
- Synology Drive备份功能:可以指定文件夹,指定备份时间等,用于重要文件和目录的备份
- Synology Photos功能:用来备份手机上的照片
- TimeMachine整机备份:连接smb,将群晖的共享文件夹作为备份目录
- 手动备份:Gitlab文件夹下,存的都是代码和git信息,直接同步文件数量巨大,所以先手动创建压缩包,然后上传到指定位置
群晖备份:
- 使用Hyper Backup进行冷备份:备份
存储空间2, 插入移动硬盘,将重要资料手动备份,防止磁盘损耗丢失数据 - 使用PVE的备份功能:定期备份群晖系统,即
存储空间1
开发服务器
- 使用LXC容器启动ubuntu虚拟机
- 使用VM容器启动CentOS等
软路由
安装OpenWrt并配置为旁路由:
🔥OpenWrt_LEAN | XiaoWanSM-固件仓库
超详细,多图 PVE 安装 OpenWRT 教程(个人记录)_pve安装openwrt-CSDN博客
启动PassWall透明代理,设置Socks自动切换
将需要透明代理的内网设置的DNS网关改完OpenWrt的IP地址,即可实现透明代理
设置OpenWrt为开机第一个启动,因为别的虚拟机可能依赖它
外网访问
PC端有宽带的情况下:使用zerotier内网穿透,P2P打洞后,速度能达到10Mbps,延迟10ms左右,非常流畅
需要给别人访问:使用cpolar内网穿透工具,可以将本机的某个端口映射到外网,但是不支持子网,而且每个端口都需要指定,这样就意味着cpolar客户端必须运行在本机
技术博客
本地使用hexo编写和管理md文件,然后执行 hexo generate 生成静态文件
用 hexo deploy 将生成的静态文件上传到群晖的blog目录
使用nginx容器部署静态网站:Nginx 容器教程 - 阮一峰的网络日志
cpolar添加端口映射,本地端口为8888
301重定向问题:通过cpolar重定向之后,映射到了 xxx.cn:8080 导致无法访问,直接访问 xxx.cn/aaa 也不能访问
图片问题
Hexo问题:本地使用typora写作,图片文件夹为 ${filepath},但是在hexo编译成html的过程中,图片路径不对,导致图片无法显示
解决方法:安装两个插件
- yiyungent/hexo-asset-img: 🍰 Hexo local image plugin. | Hexo 本地图片插件: 转换 图片相对路径 为 asset_img
- hexojs/hexo-renderer-marked: Markdown renderer for Hexo
修改 _config.yml 配置文件:
1 | |
之后就可以使用 hexo new $article_name 创建文章和同名的文件,然后在typora中设置图片自动拷贝到同名的文件夹中。
使用hexo g 生成的静态html就会将图片文件正确的放置在文章文件夹下,并且将图片标签的引用位置改为正确的相对路径了
显示PDF文件
安装hexo插件:
1 | |
安装next插件: next-theme/theme-next-pdf: PDF.js for NexT.
然后使用next主题的pdf标签:PDF | NexT
首页文章排序索引插件:hexojs/hexo-generator-index: Index generator plugin for Hexo.
Git服务器
问题
主板/CPU无法点亮
主板CPU插槽上的针歪了,寄回维修,问题解决
PVE安装完成后拆除显卡,无法正常启动
首先怀疑是主板问题,由于CPU不带核显,又没有独立显卡,主板开机自检过程中发现没有显卡导致检查不通过,无法开机
- 接上键盘,键盘灯亮,说明主板是正常启动了的
- 询问主板的技术客服,得知了主板开机自检不会检查显卡
排除主板问题,那应该是PVE系统的问题,在没有显卡的情况下没有正常开机。但是PVE作为一个服务器系统,本身并不依赖显卡。
由于是通过网络连接的PVE,难道是网卡没有正确驱动?重新装上显卡,发现网卡正常工作,网卡灯亮,能够连接PVE。拆除显卡后,网卡灯不亮,基本可以确定是网卡的问题。
为什么插上显卡,网卡就能正常识别并驱动,拆下显卡就不行了?
网卡和显卡都属于PCI设备,linux下可以通过 lspci 命令查看,每个PCI设备都有自己的编号,当拆下显卡后,PCI设备的编号发生了变化,而网络又是通过PCI编号之类的方式和网卡进行绑定的,这就导致当PCI编号发生变化时,找不到原来的网卡了。
udev 是 Linux 系统中的一个设备管理工具,负责动态管理设备节点
解决方法:
插上显卡,ssh进入PVE后台,查看网卡信息,物理网卡是eno1,MAC地址是 58:47:ca:74:7b:9e,名称是 enp1s0
进入配置文件夹,删除原来的配置
1
2
3
4
5
6
7
8
9# 进入udev规则配置文件夹
cd /etc/udev/rules.d/
# 查看配置
ls -la
# 显示内容如下:
lrwxrwxrwx 1 root root 9 Jan 27 2024 60-bridge-network-interface.rules -> /dev/null
# 删除配置
rm 60-bridge-network-interface.rules新建一个配置,名称为 50-bridge-network-interface.rules,然后写入下面的内容
1
SUBSYSTEM=="net", ACTION=="add", ATTR{address}=="网卡的MAC地址", NAME="网卡的名称"关机,拆下显卡后开机,发现网卡灯亮,可以正常进入PVE系统
进一步查询资料得知,udev 是Linux系统下的设备管理工具,负责动态管理磁盘、显卡、网卡等外设,支持热插拔。拆下显卡后,映射关系发生了变化,所以要手动指定映射规则。上面自定义规则的解释如下:
1 | |
SUBSYSTEM:匹配子系统(如net表示网络设备)ACTION:add表示添加,remove表示移除,change表示设备属性变化ATTRS{address}:匹配设备的NAME:创建符号链接,指向网卡名称
拔掉显卡后pve无法启动,网卡灯不亮:【已成功验证】debian/PVE安装好后拔显卡后连接不了网络(pve无显卡启动遇到的问题)_pve网口不亮-CSDN博客
两块硬盘组RAID1,全速写入情况下掉盘
- 直通SATA控制器,全速写入两块硬盘会掉盘,控制变量法排查问题
- 系统问题:用群晖和飞牛都会出问题,所以不是系统问题
- 直通问题:使用物理机安装飞牛,一样会掉,不是直通的问题
- SATA背板供电问题,换另一个SATA背板测试,还是如此,SATA背板是全新的,同时坏掉的可能性很小
- 转接卡问题
- 物理机安装,直接使用转接卡,也会掉
- 直接用板载的SATA控制器,没问题
- 电源问题:换了一个电源测,还是会掉,不是电源的问题
- 硬盘问题:换两块西数500G的硬盘,还是会掉盘
经多次测试,确认为转接卡问题,测试环境为任意linux(用群晖和飞牛OS都试过),两块磁盘组RAID1,然后全速写入,用转接卡必定会掉盘
dmesg打印信息为 softreset failed (1st FIS failed),limiting SATA link speed to 3.0 Gbps,hard resetting link
然后就失联了。改为板载SATA控制器测试,同样的条件下,没有出现任何问题
测试命令为:
1 | |
其中filename为测试文件路径,任意一个比较大的文件均可,我用的是8G左右的zip包,bs设置为1024M测试顺序写入,size设置为100G测试连续写入
两块磁盘为希捷ST4000VX016,满载写入速度约为180MB/s,两块磁盘满速为 180MB/s * 2 * 8 = 2880Mb/s = 2.88Gb/s
低于转接卡标称的6Gb/s的速度
所以结论是这块JMB585转接卡达不到标称的速度,在高速读写的情况下掉盘,而且是必现问题!
常用
PVE命令
1 | |