pve规划

硬件

主板使用 华硕 PRIME B760M-K D4:

  • 2.5G网卡,用于pve主网卡,虚拟机则使用桥接虚拟网卡

  • 2个PCIE x1插槽,每个插槽可以接一个PCIE 2.5G网卡,可以直通给NAS系统使用,避免使用虚拟网卡带来的CPU消耗和带宽损失

  • 2个DDR4内存插槽:插两条DDR4 3200Mhz 16G内存,多开虚拟机非常消耗内存,D5内存目前太贵了,买D4的就行

  • 4个SATA接口,直通给群晖使用

image-20241208151755774

BIOS:

进入BIOS:按下 <Delete> 或 <F2> 键

CPU使用英特尔® 酷睿™ i5-12490F 处理器,支持VT-x虚拟化,6核12线程,主频最高4.6GHz,性能够强,拓展性好,并且价格便宜。

机箱:星之海射手座8盘位机箱,带8个热插拔的硬盘位和2个普通硬盘位,主板和硬盘分仓设计,支持M-ATX主板和ATX电源,量大管饱。

供电:CPU的TDP为65W,主板上的风扇、内存、固态啥的加起来算50W,满载10个硬盘算20W*10=200W,电源效率80%,算出 (65+50+200) ÷ 80% = 394W。买的是振华450W电源,够用就行。

内存:16G DDR4 3200Mhz * 2 = 32G,多开虚拟机,内存大很有必要

系统盘:希捷1T固态,PCIE 4协议,作为系统盘,速度要够快

NAS硬盘选购:

机械硬盘那么难买?机械硬盘入门百科_硬盘_什么值得买

硬盘怎么买能避雷?哪个品牌更划算?|最全硬盘横评_哔哩哔哩_bilibili

买监控盘,功耗低,适合7*24小时工作

  • 西数紫盘4T:500出头的监控盘
  • 希捷酷鹰4T:500出头的监控盘

散热:因为机箱较小,CPU散热用的是下压式风扇,乔思伯HX4170D,能压170W,对付这颗U绰绰有余;主板上自带了散热金属片,没有其他发热大户,不加额外风扇。硬盘仓加2个常规的PWM调速机箱风扇,以应对硬盘高速运转时产生的热量,毕竟8块硬盘叠叠乐,不加风扇怕是扛不住。

显卡:淘个几十块的亮机卡,装机结束了就拆掉,主要用途的当服务器,用不上显卡,省电又省钱。

超能课堂(89):不用担心会插错,PC电源供电接口逐个看 - 超能网

架构

磁盘阵列

RAID - 维基百科,自由的百科全书

什么是磁盘阵列?15种RAID优缺点详解 (RAID5 RAID6 RAID10 RAIDZ SHR UNRAID)_哔哩哔哩_bilibili

PVE

PVE使用注意:强制关闭虚拟机,到pve左侧列表栏右击,然后选择停止,不要在右边选停止,会卡死。

拔掉显卡后pve无法启动,网卡灯不亮:【已成功验证】debian/PVE安装好后拔显卡后连接不了网络(pve无显卡启动遇到的问题)_pve网口不亮-CSDN博客

pvetools

Proxmox VE 7.x 换源

软路由小白到专家的课程思路,成为专家的捷径!_哔哩哔哩_bilibili

PVE直通原理讲解,10分钟理解直通,新手小白必看!!_哔哩哔哩_bilibili

Proxmox VE Documentation

主页 - 国光的 PVE 环境搭建教程

ESXi、PVE、unRaid对比 - 知乎

实时查看cpu频率:i7z

硬盘直通/SATA控制器直通:PVE硬盘映射与SATA控制器直通

安装群晖:PVE安装黑群晖DSM7虚拟机及直通设置 – MSTG-Blog

网络NAT:家庭网络优化指南:提升NAT类型,降低游戏延迟、提高下载速度 – 猫点饭

两个SATA控制器,其中Intel的为板载的,有4个SATA接口;另一个为ASM1166主控的M2转SATA转接卡,有6个SATA口

image-20241216205310600

SATA转接卡性能测试:

先用4块磁盘组RAID1,然后连续写入大量数据,测试极限状况下的写入性能

1
fio --name=raid1_write_test --filename=/vol1/1000/RAID-WRITE/TEST.zip --size=100G --bs=1024M -rw=write --direct=1 --sync=1 --numjobs=1 --iodepth=1

存储规划

PVE物理机:

  • 1T SSD存储:速度快,用于PVE系统安装、VM安装、LXC容器安装
  • PCIE转4个SATA

群晖:

RAID1热备 OR 冷备?

群晖

国产最强自动化黑群晖引导制作工具:RR项目 by wjz304 - 我不是矿神

RR Org

群晖镜像官方下载地址

2024年 黑群晖型号选择教程 - 正经De网站

群晖套件离线下载安装

SynoCommunity - 群晖第三方套件中心:131 款开源群晖套件 - 小众软件

PVE安装群晖步骤

  1. 界面创建VM虚拟机,不要磁盘,记住VM ID

  2. 上传引导到pve,然后执行命令转换引导磁盘:

    1
    qm importdisk $vm_id /var/lib/vz/template/iso/$file_name local-lvm
  3. 在pve界面上添加该引导磁盘为sata0,然后在引导处选择sata0作为唯一的引导

  4. 启动虚拟机,进入rr引导,选择 config boot loader

  5. 打开引导的web页面,选择下面的配置,然后开始build boot loader

    • 机型:SA6400
    • 群晖版本为7.2.2-72806
  6. build成功之后,开始boot loader,现在可以输入群晖的IP和端口号,开始安装群晖了

  7. 拔掉路由器的WAN口网线,安装过程需要断网,否则会安装失败

  8. 手动上传之前下载的.pat文件(DSM_SA6400_72806.pat),然后等待安装完成

  9. 安装完成,等待10分钟后重启即可

  10. 直通板载的SATA控制器给群晖,然后重启,开机时会在SeaBIOS处等一会,不是卡死了

注意事项:

  • sata0是群晖的引导盘,不要误删除了,可以定时给他备份。
  • 即时引导盘出了问题,或者系统崩溃了,重新安装群晖,只要数据盘没损坏,数据就能恢复(但是应用应该恢复不了了)
  • 如果数据盘损坏了并且没有对应的冗余策略的话,数据就丢失了

磁盘规划:

  • sata0:rr引导盘,PVE分配的虚拟盘(3.5G),负责引导群晖OS,非常重要,PVE中的备份选上

  • sata1:群晖系统盘,PVE分配的虚拟盘(128G),群晖OS本身安装在这里,群晖套件、群晖的用户配置、docker等都安装在这个上面,PVE中的备份选上

  • 直通板载的SATA控制器,有4个硬盘位

    • DISK1:4T机械,存放文档、照片、代码等重要数据
    • DISK2: 4T机械,存放影视资源,当下载盘用
    • 另外两个盘位先空着,等有需要了再加硬盘
  • USB接口接上移动硬盘,然后USB直通给群晖,这样就可以直接在群晖和移动硬盘之间拷贝数据了

测试局域网通过Wifi访问的速度:

image-20241208160209798

应用

影音服务

安装Emby社区版,体验更好

Emby影视剧命名规范:TV Naming | Emby Documentation

不要安装Video Station:7.2版本后需要手动安装,不支持大部分编码格式,视频解码失败,垃圾中的垃圾!

影视资源:通过emby在线播放,emby安装TMDB刮削插件,然后修改TMDB的host配置(解决NAS影视库(Jellyfin/Emby/PLEX)刮削问题)

学习视频:使用vidhub,挂载smb文件夹,体验更好,也可以记录播放进度

相册管理

资源下载

开一个windows虚拟机,里面安装百度网盘、迅雷等软件,然后挂载smb共享目录,将资源下载到NAS的目录中。

资源下载:

  • 各种网盘资源,百度开了会员,其他的没开会限速
  • BT等P2P的下载,需要做种,伤硬盘(可以用二手硬盘做种,坏了不心疼)
  • Bilibili下载:使用BilibiliDown

BilibiliDown下载工具

  • 设置下载文件命名规则:UP主名称-合集名称/AV号-合集视频号-视频名称-AvId,UpName-(:listName listName)\pAv2-pDisplay2-avTitle-avId
  • 设置下载路径
  • 下载UP主的合集:不能直接输入链接,见下面的转换
  • 下载选集:直接输入视频链接
  • 下载自己的收藏夹:直接输入收藏夹链接

下载某个UP主的合集:

1
2
3
4
5
# 链接格式
https://space.bilibili.com/${up_id}/channel/collectiondetail?sid=${collection_id}

# B站的链接格式,其中520819684为up_id, 809639为collection_id
https://space.bilibili.com/520819684/lists/809639?type=season

备份

数据备份:

  • Synology Drive备份功能:可以指定文件夹,指定备份时间等,用于重要文件和目录的备份
  • Synology Photos功能:用来备份手机上的照片
  • TimeMachine整机备份:连接smb,将群晖的共享文件夹作为备份目录
  • 手动备份:Gitlab文件夹下,存的都是代码和git信息,直接同步文件数量巨大,所以先手动创建压缩包,然后上传到指定位置

群晖备份:

  • 使用Hyper Backup进行冷备份:备份存储空间2, 插入移动硬盘,将重要资料手动备份,防止磁盘损耗丢失数据
  • 使用PVE的备份功能:定期备份群晖系统,即存储空间1

开发服务器

  • 使用LXC容器启动ubuntu虚拟机
  • 使用VM容器启动CentOS等

软路由

安装OpenWrt并配置为旁路由:

🔥OpenWrt_LEAN | XiaoWanSM-固件仓库

超详细,多图 PVE 安装 OpenWRT 教程(个人记录)_pve安装openwrt-CSDN博客

启动PassWall透明代理,设置Socks自动切换

将需要透明代理的内网设置的DNS网关改完OpenWrt的IP地址,即可实现透明代理

设置OpenWrt为开机第一个启动,因为别的虚拟机可能依赖它

外网访问

PC端有宽带的情况下:使用zerotier内网穿透,P2P打洞后,速度能达到10Mbps,延迟10ms左右,非常流畅

需要给别人访问:使用cpolar内网穿透工具,可以将本机的某个端口映射到外网,但是不支持子网,而且每个端口都需要指定,这样就意味着cpolar客户端必须运行在本机

技术博客

文档 | Hexo

NexT文档

  1. 本地使用hexo编写和管理md文件,然后执行 hexo generate 生成静态文件

  2. 用 hexo deploy 将生成的静态文件上传到群晖的blog目录

  3. 使用nginx容器部署静态网站:Nginx 容器教程 - 阮一峰的网络日志

  4. cpolar添加端口映射,本地端口为8888

301重定向问题:通过cpolar重定向之后,映射到了 xxx.cn:8080 导致无法访问,直接访问 xxx.cn/aaa 也不能访问

图片问题

Hexo问题:本地使用typora写作,图片文件夹为 ${filepath},但是在hexo编译成html的过程中,图片路径不对,导致图片无法显示

解决方法:安装两个插件

修改 _config.yml 配置文件:

1
2
3
4
post_asset_folder: true
marked:
prependRoot: true
postAsset: true

之后就可以使用 hexo new $article_name 创建文章和同名的文件,然后在typora中设置图片自动拷贝到同名的文件夹中。

image-20241208151430687

使用hexo g 生成的静态html就会将图片文件正确的放置在文章文件夹下,并且将图片标签的引用位置改为正确的相对路径了

显示PDF文件

安装hexo插件:

1
npm install --save hexo-pdf

安装next插件: next-theme/theme-next-pdf: PDF.js for NexT.

然后使用next主题的pdf标签:PDF | NexT

首页文章排序索引插件:hexojs/hexo-generator-index: Index generator plugin for Hexo.

Git服务器

Pro Git 简体中文版

问题

主板/CPU无法点亮

主板CPU插槽上的针歪了,寄回维修,问题解决

PVE安装完成后拆除显卡,无法正常启动

首先怀疑是主板问题,由于CPU不带核显,又没有独立显卡,主板开机自检过程中发现没有显卡导致检查不通过,无法开机

  • 接上键盘,键盘灯亮,说明主板是正常启动了的
  • 询问主板的技术客服,得知了主板开机自检不会检查显卡

排除主板问题,那应该是PVE系统的问题,在没有显卡的情况下没有正常开机。但是PVE作为一个服务器系统,本身并不依赖显卡。

由于是通过网络连接的PVE,难道是网卡没有正确驱动?重新装上显卡,发现网卡正常工作,网卡灯亮,能够连接PVE。拆除显卡后,网卡灯不亮,基本可以确定是网卡的问题。

为什么插上显卡,网卡就能正常识别并驱动,拆下显卡就不行了?

网卡和显卡都属于PCI设备,linux下可以通过 lspci 命令查看,每个PCI设备都有自己的编号,当拆下显卡后,PCI设备的编号发生了变化,而网络又是通过PCI编号之类的方式和网卡进行绑定的,这就导致当PCI编号发生变化时,找不到原来的网卡了。

udev 是 Linux 系统中的一个设备管理工具,负责动态管理设备节点

解决方法:

  1. 插上显卡,ssh进入PVE后台,查看网卡信息,物理网卡是eno1,MAC地址是 58:47:ca:74:7b:9e,名称是 enp1s0

    image-20241210161608219
  2. 进入配置文件夹,删除原来的配置

    1
    2
    3
    4
    5
    6
    7
    8
    9
    # 进入udev规则配置文件夹
    cd /etc/udev/rules.d/
    # 查看配置
    ls -la
    # 显示内容如下:
    lrwxrwxrwx 1 root root 9 Jan 27 2024 60-bridge-network-interface.rules -> /dev/null

    # 删除配置
    rm 60-bridge-network-interface.rules
  3. 新建一个配置,名称为 50-bridge-network-interface.rules,然后写入下面的内容

    1
    SUBSYSTEM=="net", ACTION=="add", ATTR{address}=="网卡的MAC地址", NAME="网卡的名称"
  4. 关机,拆下显卡后开机,发现网卡灯亮,可以正常进入PVE系统

进一步查询资料得知,udev 是Linux系统下的设备管理工具,负责动态管理磁盘、显卡、网卡等外设,支持热插拔。拆下显卡后,映射关系发生了变化,所以要手动指定映射规则。上面自定义规则的解释如下:

1
SUBSYSTEM=="net", ACTION=="add", ATTR{address}=="网卡的MAC地址", NAME="网卡的名称"
  • SUBSYSTEM:匹配子系统(如 net 表示网络设备)
  • ACTION:add表示添加,remove表示移除,change表示设备属性变化
  • ATTRS{address}:匹配设备的
  • NAME:创建符号链接,指向网卡名称

拔掉显卡后pve无法启动,网卡灯不亮:【已成功验证】debian/PVE安装好后拔显卡后连接不了网络(pve无显卡启动遇到的问题)_pve网口不亮-CSDN博客

两块硬盘组RAID1,全速写入情况下掉盘

  • 直通SATA控制器,全速写入两块硬盘会掉盘,控制变量法排查问题
    • 系统问题:用群晖和飞牛都会出问题,所以不是系统问题
    • 直通问题:使用物理机安装飞牛,一样会掉,不是直通的问题
    • SATA背板供电问题,换另一个SATA背板测试,还是如此,SATA背板是全新的,同时坏掉的可能性很小
    • 转接卡问题
      • 物理机安装,直接使用转接卡,也会掉
      • 直接用板载的SATA控制器,没问题
    • 电源问题:换了一个电源测,还是会掉,不是电源的问题
    • 硬盘问题:换两块西数500G的硬盘,还是会掉盘

经多次测试,确认为转接卡问题,测试环境为任意linux(用群晖和飞牛OS都试过),两块磁盘组RAID1,然后全速写入,用转接卡必定会掉盘

dmesg打印信息为 softreset failed (1st FIS failed),limiting SATA link speed to 3.0 Gbps,hard resetting link

然后就失联了。改为板载SATA控制器测试,同样的条件下,没有出现任何问题

测试命令为:

1
fio --name=raid1_write_test --filename=/vol1/1000/RAID-WRITE/TEST.zip --size=100G --bs=1024M -rw=write --direct=1 --sync=1 --numjobs=1 --iodepth=1

其中filename为测试文件路径,任意一个比较大的文件均可,我用的是8G左右的zip包,bs设置为1024M测试顺序写入,size设置为100G测试连续写入

两块磁盘为希捷ST4000VX016,满载写入速度约为180MB/s,两块磁盘满速为 180MB/s * 2 * 8 = 2880Mb/s = 2.88Gb/s

低于转接卡标称的6Gb/s的速度

所以结论是这块JMB585转接卡达不到标称的速度,在高速读写的情况下掉盘,而且是必现问题!

常用

PVE命令

1
2
# 查看当前所有硬盘
lsblk

pve规划
https://www.albeltbo.com/posts/bd42254b.html
作者
AlbeltBo
发布于
2025年10月14日
许可协议