对 Orange Pi 4 Pro 做 KVM Bring up

买了一张 Orange Pi 4 Pro 开发板(全志 A733),同样是 Cortex A76 与 Cortex A55 混装大小核,我的 NanoPi M6V2 的 KVM 是可用的,反而我的 Orange Pi 4 Pro 的 KVM 不可用,本来是打算给 Hermes 搬个新家,但没 KVM 总归有些不舒服,那就折腾一下吧。

环境

目前采用的是 Armbian_community 26.11.0-trunk.36 trixie,这个版本依旧使用了 vendor uboot 与 vendor BSP。

欢迎来到 EL2 的世界

首先我们查看下 aarch64 运行 KVM 所需条件,首先 CONFIG_KVM 是一定要启用的。
我们阅读 kvm 入口 kvm_arm_init()可得出在 aarch64 下使用 KVM 仍需要满足is_hyp_mode_available()返回true,通过阅读该函数可得必须所有 CPU 在 EL2 异常级别下进入 Kernel。

检查 dmesg 可见 CPU 目前的异常级别为 EL1 ,然而 aarch64 运行 KVM 则需要 EL2。

因此在引入 CONFIG_KVM 前,我们应当先处理 CPU 的异常级别。

从 U-Boot 启动交接开始看

既然进入 Kernel 时的异常级别不对,那么我们就要看看到底是谁交接给内核的了,直觉告诉我去找 uboot。
通过阅读代码,我们可以在 arch/arm/lib/bootm.c 中的 boot_jump_linux() 函数找到我们想要的片段:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
	if (!fake) {

#ifdef CONFIG_ARISC_DEASSERT_BEFORE_KERNEL
u32 ARM_SVC_ARISC_STARTUP = 0x8000ff10;

/* load and de-assert cpus before kernel*/
sunxi_smc_call_atf(ARM_SVC_ARISC_STARTUP, (ulong)r2, 0, 0);
#endif
/* We could run 32bit os on 64bit platform, which have monitor */
if (sunxi_probe_secure_monitor() && (sunxi_get_force_32bit_os() == 0)) {
debug("u-boot: Calling sunxi_smc_call_atf(): kernel_entry = 0x%lx, dtb_addr = 0x%lx\n",
(ulong)kernel_entry, (ulong)r2);
sunxi_smc_call_atf(ARM_SVC_RUNNSOS, (ulong)kernel_entry, (ulong)r2, 1);
} else {
debug("u-boot: Calling kernel_entry()\n");
kernel_entry(0, machid, r2);
}
}

可以看到,由于 32 位 uboot 无法直接跳转到 64 位 kernel,当检测到 Secure Monitor 且目标非强制 32 位操作系统时,uboot 会通过一个 Secure Monitor 调用(SMC)来启动内核。

1
sunxi_smc_call_atf(ARM_SVC_RUNNSOS, (ulong)kernel_entry, (ulong)r2,  1);

四个参数分别为 SMC 调用号 0x8000ff04,kernel 入口地址,FDT 地址以及一个常量 1。
也就是将 kernel 启动过程交给了 Secure Monitor处理,通过查阅文档,我们可以得知 Orange Pi 4 Pro 使用了 BL31 作为 ATF,接下来我们就需要了解 BL31 究竟做了什么。

黑盒 BL31

全志的 BL31 是闭源固件,我们不难在 Orange Pi 的仓库中获取,对应 monitor.fex。

在接入 TTL 后我们可以在 TTL 输出中确认到:

[6001]Jump to ATF: monitor_base = 0x48000000, uboot_base = 0x4a000000, optee_base = 0x0

即基址为0x48000000 。

参考 TF-A 链接脚本 bl31.ld.S 的约定,裸二进制偏移 0x0 作为入口,将 monitor.fex 按 AArch64 Little-Endian 加载并把基址设为 0x48000000 进行逆向。

接下来我们就要开始寻宝环节了,要寻找启动链交接的代码。参考 TF-A Firmware Design 文档 中有关 Data structures used in the BL31 cold boot interface 的描述,当 BL31 要移交控制权给下一阶段镜像时,会构造并填充 entry_point_info_t 结构体,该结构体如下(对于 aarch64 ):

1
2
3
4
5
6
7
typedef struct entry_point_info {
param_header_t h;
uintptr_t pc; // 入口地址
uint32_t spsr; // 目标处理器状态

aapcs64_params_t args;
}

其中 spsr 字段决定了跳转后的目标异常级别。参考 TF-A 源码 include/arch/aarch64/arch.h 中的 SPSR_64 宏定义:

  • 跳入 EL1:SPSR_64(MODE_EL1, MODE_SP_ELX, DISABLE_ALL_EXCEPTIONS) 展开即为 0x3C5;
  • 跳入 EL2:SPSR_64(MODE_EL2, MODE_SP_ELX, DISABLE_ALL_EXCEPTIONS) 展开即为 0x3C9。

那么理论上我们直接搜对应的常数,是可以寻找到对应的代码片段的,直接搜 0x3C5 即可:

可以搜到 5 个代码片段含有该数值。其中 3 个看起来像是在准备上下文,其 Caller 函数特征不明显;一个因所在函数包含 optee_entry_point 应该是 OP-TEE 启动相关;而最后一个其 Caller 明显是一个分发器的结构,类似 SMC 调用入口,我们对该函数进行还原,如图:

可见第 4 个参数控制了 SPSR 具体的数值,决定了是否以 EL2 启动。向上溯源,其 Caller 如图所示:

我们不难发现 0x8000FF04 控制 BL31 将 Kernel 交接到 EL1,0x8000FF40 则是将内核交接到 EL2。

因此我们可以对 u-boot 行修改,重新 build 并覆盖。

1
2
3
4
5
6
7
8
9
10
11
12
13
diff --git a/arch/arm/lib/bootm.c b/arch/arm/lib/bootm.c
index e9b27b8..d17b24c 100644
--- a/arch/arm/lib/bootm.c
+++ b/arch/arm/lib/bootm.c
@@ -352,7 +352,7 @@ static void boot_jump_linux(bootm_headers_t *images, int flag)
char *s;
unsigned long r2;
int fake = (flag & BOOTM_STATE_OS_FAKE_GO);
- u32 ARM_SVC_RUNNSOS = 0x8000ff04;
+ u32 ARM_SVC_RUNNSOS = 0x8000ff40; /* AArch64 Linux at EL2 */
//phys_size_t fdt_size;

kernel_entry = (void (*)(int, int, uint))images->ep;

随后重新构筑 uboot 刷入,启动系统,可以看到 CPU 运行在 EL2 了。

异常级别搞定后,别忘了在 Kernel 的 .config 中增加下面两个配置项重新构筑安装下:

1
2
CONFIG_VIRTUALIZATION=y
CONFIG_KVM=y

救活 vGIC

本来以为补齐了 EL2 和相应的内核配置并且看到了 /dev/kvm 后就可以使用 VM 了,似乎事情没那么简单,运行 VM (UEFI)后有如下输出;

1
2
UEFI firmware (version 2025.02-8+deb13u1 built at 18:06:17 on Nov  8 2025)
Synchronous Exception at 0x0000000000017800

直接从 vmlinuz 与 initrd.img 尝试启动可见正常的输出,能够进入 kernel 的初始化阶段,但是卡住了。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
[    0.000000] Booting Linux on physical CPU 0x0000000000 [0x412fd050]
[ 0.000000] Linux version 6.12.117+deb13-arm64 (debian-kernel@lists.debian.org) (aarch64-linux-gnu-gcc-14 (Debian 14.2.0-19) 14.2.0, GNU ld (GNU Binutils for Debian) 2.44) #1 SMP Debian 6.12.117-1 (2026-11-12)
[ 0.000000] KASLR enabled
[ 0.000000] random: crng init done
[ 0.000000] Machine model: linux,dummy-virt
...
Loading, please wait...
Starting systemd-udevd version 257.13-1~deb13u1
[ 1.299763] virtio_blk virtio0: 2/0/0 default/read/poll queues
[ 1.321360] virtio_blk virtio0: [vda] 33554432 512-byte logical blocks (17.2 GB/16.0 GiB)
[ 1.345945] vda: vda1 vda15
[ 1.348625] virtio_blk virtio1: 2/0/0 default/read/poll queues
[ 1.350639] input: gpio-keys as /devices/platform/gpio-keys/input/input0
[ 1.358753] virtio_blk virtio1: [vdb] 736 512-byte logical blocks (377 kB/368 KiB)
[ 1.391023] virtio_net virtio2 enp0s3: renamed from eth0

仔细观察日志可以发现:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
[    0.000000] Root IRQ handler: gic_handle_irq
[ 0.000000] ------------[ cut here ]------------
[ 0.000000] GICv3 system registers enabled, broken firmware!
[ 0.000000] WARNING: CPU: 0 PID: 0 at drivers/irqchip/irq-gic.c:57 gic_cpu_init+0x108/0x120
[ 0.000000] Modules linked in:
[ 0.000000] CPU: 0 UID: 0 PID: 0 Comm: swapper/0 Not tainted 6.12.117+deb13-arm64 #1 Debian 6.12.117-1
[ 0.000000] Hardware name: linux,dummy-virt (DT)
[ 0.000000] pstate: 600000c5 (nZCv daIF -PAN -UAO -TCO -DIT -SSBS BTYPE=--)
[ 0.000000] pc : gic_cpu_init+0x108/0x120
[ 0.000000] lr : gic_cpu_init+0x108/0x120
[ 0.000000] sp : ffffaab291c43b30
[ 0.000000] x29: ffffaab291c43b30 x28: 0000000000000000 x27: ffffaab291fd3eb0
[ 0.000000] x26: dead000000000122 x25: ffffaab291c43d68 x24: ffffaab291c51000
[ 0.000000] x23: ffff800080030000 x22: ffff800080010000 x21: 0000000000000000
[ 0.000000] x20: ffffaab291c51ee8 x19: ffffaab291c51ee8 x18: 0000000000000006
[ 0.000000] x17: 0000000076ea69d5 x16: ffff800080041000 x15: ffffaab291c43704
[ 0.000000] x14: 0000000000000000 x13: 21657261776d7269 x12: ffffaab291cd20a0
[ 0.000000] x11: ffffaab291c7a0f8 x10: ffffaab291cd20f8 x9 : ffffaab28fd471b4
[ 0.000000] x8 : 0000000000000001 x7 : 0000000000017fe8 x6 : c0000000ffffefff
[ 0.000000] x5 : 0000000000057fa8 x4 : 0000000000000000 x3 : 0000000000000000
[ 0.000000] x2 : 0000000000000000 x1 : 0000000000000000 x0 : ffffaab291c59580
[ 0.000000] Call trace:
[ 0.000000] gic_cpu_init+0x108/0x120
[ 0.000000] gic_init_bases+0x124/0x240
[ 0.000000] __gic_init_bases+0x98/0x168
[ 0.000000] gic_of_init+0x2e4/0x3e0
[ 0.000000] of_irq_init+0x210/0x388
[ 0.000000] irqchip_init+0x20/0x50
[ 0.000000] init_IRQ+0xa4/0xc8
[ 0.000000] start_kernel+0x608/0x7d0
[ 0.000000] __primary_switched+0x80/0x90
[ 0.000000] ---[ end trace 0000000000000000 ]---
[ 0.000000] GICv2m: range[mem 0x08020000-0x08020fff], SPI[80:143]

我们去阅读调用栈中提及的函数 drivers/irqchip/irq-gic.c:gic_cpu_init 可见这段 stacktrace 是由 gic_check_cpu_features 函数触发的,阅读代码发现 Guest kernel 读到了 CPU 支持 GICv3,再看下面的 GICv2m 却完成了初始化,也就是回退到了 GICv2。

宿主机是 GICv3 反而 Guest 是 GICv2?重新确认宿主机 dmesg 看起来 KVM 初始化是正确的,反而 Guest 的 GIC 降级了?

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
nya@garfield:~$ sudo dmesg | grep -i kvm
[ 0.000000] Linux version 6.6.98-vendor-sun60iw2-kvm1 (build@armbian) (aarch64-linux-gnu-gcc (Debian 14.2.0-19) 14.2.0, GNU ld (GNU Binutils for Debian) 2.44) #1 SMP PREEMPT Tue Apr 7 02:28:35 UTC 2026
[ 0.273476] kvm [1]: IPA Size Limit: 40 bits
[ 0.273519] kvm [1]: VHE mode initialized successfully
[ 0.746737] usb usb1: Manufacturer: Linux 6.6.98-vendor-sun60iw2-kvm1 xhci-hcd
[ 0.747324] usb usb2: Manufacturer: Linux 6.6.98-vendor-sun60iw2-kvm1 xhci-hcd
[ 3.037534] usb usb3: Manufacturer: Linux 6.6.98-vendor-sun60iw2-kvm1 ehci_hcd
[ 3.110338] usb usb4: Manufacturer: Linux 6.6.98-vendor-sun60iw2-kvm1 ohci_hcd
nya@garfield:~$ sudo dmesg | grep -i gic
[ 0.000000] CPU features: detected: GIC system register CPU interface
[ 0.000000] GICv3: GIC: Using split EOI/Deactivate mode
[ 0.000000] GICv3: 256 SPIs implemented
[ 0.000000] GICv3: 0 Extended SPIs implemented
[ 0.000000] Root IRQ handler: gic_handle_irq
[ 0.000000] GICv3: GICv3 features: 16 PPIs
[ 0.000000] GICv3: CPU0: found redistributor 0 region 0:0x0000000003460000
[ 0.007498] GICv3: CPU1: found redistributor 100 region 0:0x0000000003480000
[ 0.008314] GICv3: CPU2: found redistributor 200 region 0:0x00000000034a0000
[ 0.009023] GICv3: CPU3: found redistributor 300 region 0:0x00000000034c0000
[ 0.009712] GICv3: CPU4: found redistributor 400 region 0:0x00000000034e0000
[ 0.010390] GICv3: CPU5: found redistributor 500 region 0:0x0000000003500000
[ 0.011088] GICv3: CPU6: found redistributor 600 region 0:0x0000000003520000
[ 0.011737] GICv3: CPU7: found redistributor 700 region 0:0x0000000003540000

继续翻阅 KVM 相关源码尝试寻找答案。发现 kvm_arm_init() 所调用的 init_subsystems() 函数存在以下片段:

1
2
3
4
5
6
7
8
9
10
err = kvm_vgic_hyp_init();
switch (err) {
case 0:
vgic_present = true;
break;
case -ENODEV:
case -ENXIO:
vgic_present = false;
err = 0;
break;

当 kvm_vgic_hyp_init() 返回 -ENODEV 或者 -ENXIO 时,并不会导致 KVM 初始化异常。继续看 kvm_vgic_hyp_init():

1
2
3
4
5
6
7
8
9
10
11
12
13
14
int kvm_vgic_hyp_init(void)
{
bool has_mask;
int ret;

if (!gic_kvm_info)
return -ENODEV;

has_mask = !gic_kvm_info->no_maint_irq_mask;

if (has_mask && !gic_kvm_info->maint_irq) {
kvm_err("No vgic maintenance irq\n");
return -ENXIO;
}

对照 dmesg 输出,发现根本没有走到第一个 kvm_err(),因此应当是 gic_kvm_info 为 null,寻其 reference 可见 setter 函数 vgic_set_kvm_info(),继续寻找 vgic_set_kvm_info() 的reference (根据前期 dmesg 打印为 GICv3)找到 drivers/irqchip/irq-gic-v3.c:gic_of_setup_kvm_info 可见有片段:

1
2
3
gic_v3_kvm_info.maint_irq = irq_of_parse_and_map(node, 0);
if (!gic_v3_kvm_info.maint_irq)
return;

再往上找 device_node 的源头可见 IRQCHIP_DECLARE(gic_v3, "arm,gic-v3", gic_of_init);,随即查阅 Device Tree 绑定文档 arm,gic-v3.yaml 可知 arm,gic-v3 节点下的 interrupts 属性用于指定 VGIC maintenance interrupt。对照 Orange Pi 的 sun60iw2p1.dtsi 可见:

1
2
3
4
5
6
7
8
9
gic: interrupt-controller@3400000 {
compatible = "arm,gic-v3";
#interrupt-cells = <3>;
#address-cells = <0>;
interrupt-controller;
reg = <0x0 0x03400000 0 0x10000>, /* GIC Dist */
<0x0 0x03460000 0 0xFF004>; /* GIC Re */
interrupt-parent = <&gic>;
};

明显缺失了 interrupts。那这个 interrupt 写什么呢?我直接去友商那边抄作业碰碰运气(万一能成呢 反正都是 GIC-600):rk3588s.dtsi :

1
2
3
4
5
6
		compatible = "arm,gic-v3";
reg = <0x0 0xfe600000 0 0x10000>, /* GICD */
<0x0 0xfe680000 0 0x100000>; /* GICR */
interrupts = <GIC_PPI 9 IRQ_TYPE_LEVEL_HIGH 0>;
...
#interrupt-cells = <4>;

宏展开就是 interrupts = <1 9 4 0>;,因为 RK3588S 的 #interrupt-cells 为 4 ,再看一眼 arm,gic-v3.yaml 中的定义,第四个值是给亲和占位的,因此补 1 9 4 即可。

因为目前手上只有 Orange Pi 4 Pro 因此补到板级上:

1
2
3
4
5
6
7
8
9
10
11
12
13
--- a/arch/arm64/boot/dts/allwinner/sun60i-a733-orangepi-4-pro.dts
+++ b/arch/arm64/boot/dts/allwinner/sun60i-a733-orangepi-4-pro.dts
@@ -3,6 +3,10 @@
/dts-v1/;

#include "sun60iw2p1.dtsi"
+
+&gic {
+ interrupts = <1 9 4>; /* GIC_PPI 9, IRQ_TYPE_LEVEL_HIGH */
+};
//#define TYPEC_DP 1
/{
board = "A733";

重新编译 dtb 重启板子,dmesg 可见 [ 0.273406] kvm [1]: vgic interrupt IRQ9。随后启动虚拟机,可见:

1
2
3
4
5
6
7
8
9
10
11
[    0.000000] GICv3: 256 SPIs implemented
[ 0.000000] GICv3: 0 Extended SPIs implemented
[ 0.000000] Root IRQ handler: gic_handle_irq
[ 0.000000] GICv3: GICv3 features: 16 PPIs, DirectLPI
[ 0.000000] GICv3: GICD_CTRL.DS=1, SCR_EL3.FIQ=0
[ 0.000000] GICv3: CPU0: found redistributor 0 region 0:0x00000000080a0000
[ 0.000000] ITS [mem 0x08080000-0x0809ffff]
[ 0.000000] ITS@0x0000000008080000: allocated 8192 Devices @429d0000 (indirect, esz 8, psz 64K, shr 1)
[ 0.000000] ITS@0x0000000008080000: allocated 8192 Interrupt Collections @429e0000 (flat, esz 8, psz 64K, shr 1)
[ 0.000000] GICv3: using LPI property table @0x00000000429f0000
[ 0.000000] GICv3: CPU0: using allocated LPI pending table @0x0000000042a00000

并成功进入 login prompt:

结语

目前这张板子是可以正常使用 KVM 了,但依旧缺少大量验证。加上自己工作繁忙没有太多时间折腾了,宿主机侧 ITS 搞了一半,gic 节点做了 dma-noncoherent 上电开机卡死在副核启动阶段,具体原因待查。
板子送给朋友耍了,因为这板子的驱动真是**一样,无线驱动都能给 SDIO 挂死。(见下图)

Wi-Fi 与 TF 卡都是走 SDIO 的,首先这个无线驱动就会一直写 dmesg 看着烦人不说,如果一直 scan 下去,就会随机把 SDIO 挂死,原因不明,一次随机卡死 1-2 颗核心,这你受的了吗?