买了一张 Orange Pi 4 Pro 开发板(全志 A733),同样是 Cortex A76 与 Cortex A55 混装大小核,我的 NanoPi M6V2 的 KVM 是可用的,反而我的 Orange Pi 4 Pro 的 KVM 不可用,本来是打算给 Hermes 搬个新家,但没 KVM 总归有些不舒服,那就折腾一下吧。
环境
目前采用的是 Armbian_community 26.11.0-trunk.36 trixie,这个版本依旧使用了 vendor uboot 与 vendor BSP。
欢迎来到 EL2 的世界
首先我们查看下 aarch64 运行 KVM 所需条件,首先 CONFIG_KVM 是一定要启用的。
我们阅读 kvm 入口 kvm_arm_init()可得出在 aarch64 下使用 KVM 仍需要满足is_hyp_mode_available()返回true,通过阅读该函数可得必须所有 CPU 在 EL2 异常级别下进入 Kernel。
检查 dmesg 可见 CPU 目前的异常级别为 EL1 ,然而 aarch64 运行 KVM 则需要 EL2。
因此在引入 CONFIG_KVM 前,我们应当先处理 CPU 的异常级别。
从 U-Boot 启动交接开始看
既然进入 Kernel 时的异常级别不对,那么我们就要看看到底是谁交接给内核的了,直觉告诉我去找 uboot。
通过阅读代码,我们可以在 arch/arm/lib/bootm.c 中的 boot_jump_linux() 函数找到我们想要的片段:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
| if (!fake) {
#ifdef CONFIG_ARISC_DEASSERT_BEFORE_KERNEL u32 ARM_SVC_ARISC_STARTUP = 0x8000ff10;
sunxi_smc_call_atf(ARM_SVC_ARISC_STARTUP, (ulong)r2, 0, 0); #endif if (sunxi_probe_secure_monitor() && (sunxi_get_force_32bit_os() == 0)) { debug("u-boot: Calling sunxi_smc_call_atf(): kernel_entry = 0x%lx, dtb_addr = 0x%lx\n", (ulong)kernel_entry, (ulong)r2); sunxi_smc_call_atf(ARM_SVC_RUNNSOS, (ulong)kernel_entry, (ulong)r2, 1); } else { debug("u-boot: Calling kernel_entry()\n"); kernel_entry(0, machid, r2); } }
|
可以看到,由于 32 位 uboot 无法直接跳转到 64 位 kernel,当检测到 Secure Monitor 且目标非强制 32 位操作系统时,uboot 会通过一个 Secure Monitor 调用(SMC)来启动内核。
1
| sunxi_smc_call_atf(ARM_SVC_RUNNSOS, (ulong)kernel_entry, (ulong)r2, 1);
|
四个参数分别为 SMC 调用号 0x8000ff04,kernel 入口地址,FDT 地址以及一个常量 1。
也就是将 kernel 启动过程交给了 Secure Monitor处理,通过查阅文档,我们可以得知 Orange Pi 4 Pro 使用了 BL31 作为 ATF,接下来我们就需要了解 BL31 究竟做了什么。
黑盒 BL31
全志的 BL31 是闭源固件,我们不难在 Orange Pi 的仓库中获取,对应 monitor.fex。
在接入 TTL 后我们可以在 TTL 输出中确认到:
[6001]Jump to ATF: monitor_base = 0x48000000, uboot_base = 0x4a000000, optee_base = 0x0
即基址为0x48000000 。
参考 TF-A 链接脚本 bl31.ld.S 的约定,裸二进制偏移 0x0 作为入口,将 monitor.fex 按 AArch64 Little-Endian 加载并把基址设为 0x48000000 进行逆向。
接下来我们就要开始寻宝环节了,要寻找启动链交接的代码。参考 TF-A Firmware Design 文档 中有关 Data structures used in the BL31 cold boot interface 的描述,当 BL31 要移交控制权给下一阶段镜像时,会构造并填充 entry_point_info_t 结构体,该结构体如下(对于 aarch64 ):
1 2 3 4 5 6 7
| typedef struct entry_point_info { param_header_t h; uintptr_t pc; uint32_t spsr;
aapcs64_params_t args; }
|
其中 spsr 字段决定了跳转后的目标异常级别。参考 TF-A 源码 include/arch/aarch64/arch.h 中的 SPSR_64 宏定义:
- 跳入
EL1:SPSR_64(MODE_EL1, MODE_SP_ELX, DISABLE_ALL_EXCEPTIONS) 展开即为 0x3C5;
- 跳入
EL2:SPSR_64(MODE_EL2, MODE_SP_ELX, DISABLE_ALL_EXCEPTIONS) 展开即为 0x3C9。
那么理论上我们直接搜对应的常数,是可以寻找到对应的代码片段的,直接搜 0x3C5 即可:
可以搜到 5 个代码片段含有该数值。其中 3 个看起来像是在准备上下文,其 Caller 函数特征不明显;一个因所在函数包含 optee_entry_point 应该是 OP-TEE 启动相关;而最后一个其 Caller 明显是一个分发器的结构,类似 SMC 调用入口,我们对该函数进行还原,如图:
可见第 4 个参数控制了 SPSR 具体的数值,决定了是否以 EL2 启动。向上溯源,其 Caller 如图所示:
我们不难发现 0x8000FF04 控制 BL31 将 Kernel 交接到 EL1,0x8000FF40 则是将内核交接到 EL2。
因此我们可以对 u-boot 行修改,重新 build 并覆盖。
1 2 3 4 5 6 7 8 9 10 11 12 13
|
@@ -352,7 +352,7 @@ static void boot_jump_linux(bootm_headers_t *images, int flag) char *s; unsigned long r2; int fake = (flag & BOOTM_STATE_OS_FAKE_GO); - u32 ARM_SVC_RUNNSOS = 0x8000ff04; + u32 ARM_SVC_RUNNSOS = 0x8000ff40; /* AArch64 Linux at EL2 */ //phys_size_t fdt_size;
kernel_entry = (void (*)(int, int, uint))images->ep;
|
随后重新构筑 uboot 刷入,启动系统,可以看到 CPU 运行在 EL2 了。
异常级别搞定后,别忘了在 Kernel 的 .config 中增加下面两个配置项重新构筑安装下:
1 2
| CONFIG_VIRTUALIZATION=y CONFIG_KVM=y
|
救活 vGIC
本来以为补齐了 EL2 和相应的内核配置并且看到了 /dev/kvm 后就可以使用 VM 了,似乎事情没那么简单,运行 VM (UEFI)后有如下输出;
1 2
| UEFI firmware (version 2025.02-8+deb13u1 built at 18:06:17 on Nov 8 2025) Synchronous Exception at 0x0000000000017800
|
直接从 vmlinuz 与 initrd.img 尝试启动可见正常的输出,能够进入 kernel 的初始化阶段,但是卡住了。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
| [ 0.000000] Booting Linux on physical CPU 0x0000000000 [0x412fd050] [ 0.000000] Linux version 6.12.117+deb13-arm64 (debian-kernel@lists.debian.org) (aarch64-linux-gnu-gcc-14 (Debian 14.2.0-19) 14.2.0, GNU ld (GNU Binutils for Debian) 2.44) #1 SMP Debian 6.12.117-1 (2026-11-12) [ 0.000000] KASLR enabled [ 0.000000] random: crng init done [ 0.000000] Machine model: linux,dummy-virt ... Loading, please wait... Starting systemd-udevd version 257.13-1~deb13u1 [ 1.299763] virtio_blk virtio0: 2/0/0 default/read/poll queues [ 1.321360] virtio_blk virtio0: [vda] 33554432 512-byte logical blocks (17.2 GB/16.0 GiB) [ 1.345945] vda: vda1 vda15 [ 1.348625] virtio_blk virtio1: 2/0/0 default/read/poll queues [ 1.350639] input: gpio-keys as /devices/platform/gpio-keys/input/input0 [ 1.358753] virtio_blk virtio1: [vdb] 736 512-byte logical blocks (377 kB/368 KiB) [ 1.391023] virtio_net virtio2 enp0s3: renamed from eth0
|
仔细观察日志可以发现:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
| [ 0.000000] Root IRQ handler: gic_handle_irq [ 0.000000] ------------[ cut here ]------------ [ 0.000000] GICv3 system registers enabled, broken firmware! [ 0.000000] WARNING: CPU: 0 PID: 0 at drivers/irqchip/irq-gic.c:57 gic_cpu_init+0x108/0x120 [ 0.000000] Modules linked in: [ 0.000000] CPU: 0 UID: 0 PID: 0 Comm: swapper/0 Not tainted 6.12.117+deb13-arm64 #1 Debian 6.12.117-1 [ 0.000000] Hardware name: linux,dummy-virt (DT) [ 0.000000] pstate: 600000c5 (nZCv daIF -PAN -UAO -TCO -DIT -SSBS BTYPE=--) [ 0.000000] pc : gic_cpu_init+0x108/0x120 [ 0.000000] lr : gic_cpu_init+0x108/0x120 [ 0.000000] sp : ffffaab291c43b30 [ 0.000000] x29: ffffaab291c43b30 x28: 0000000000000000 x27: ffffaab291fd3eb0 [ 0.000000] x26: dead000000000122 x25: ffffaab291c43d68 x24: ffffaab291c51000 [ 0.000000] x23: ffff800080030000 x22: ffff800080010000 x21: 0000000000000000 [ 0.000000] x20: ffffaab291c51ee8 x19: ffffaab291c51ee8 x18: 0000000000000006 [ 0.000000] x17: 0000000076ea69d5 x16: ffff800080041000 x15: ffffaab291c43704 [ 0.000000] x14: 0000000000000000 x13: 21657261776d7269 x12: ffffaab291cd20a0 [ 0.000000] x11: ffffaab291c7a0f8 x10: ffffaab291cd20f8 x9 : ffffaab28fd471b4 [ 0.000000] x8 : 0000000000000001 x7 : 0000000000017fe8 x6 : c0000000ffffefff [ 0.000000] x5 : 0000000000057fa8 x4 : 0000000000000000 x3 : 0000000000000000 [ 0.000000] x2 : 0000000000000000 x1 : 0000000000000000 x0 : ffffaab291c59580 [ 0.000000] Call trace: [ 0.000000] gic_cpu_init+0x108/0x120 [ 0.000000] gic_init_bases+0x124/0x240 [ 0.000000] __gic_init_bases+0x98/0x168 [ 0.000000] gic_of_init+0x2e4/0x3e0 [ 0.000000] of_irq_init+0x210/0x388 [ 0.000000] irqchip_init+0x20/0x50 [ 0.000000] init_IRQ+0xa4/0xc8 [ 0.000000] start_kernel+0x608/0x7d0 [ 0.000000] __primary_switched+0x80/0x90 [ 0.000000] ---[ end trace 0000000000000000 ]--- [ 0.000000] GICv2m: range[mem 0x08020000-0x08020fff], SPI[80:143]
|
我们去阅读调用栈中提及的函数 drivers/irqchip/irq-gic.c:gic_cpu_init 可见这段 stacktrace 是由 gic_check_cpu_features 函数触发的,阅读代码发现 Guest kernel 读到了 CPU 支持 GICv3,再看下面的 GICv2m 却完成了初始化,也就是回退到了 GICv2。
宿主机是 GICv3 反而 Guest 是 GICv2?重新确认宿主机 dmesg 看起来 KVM 初始化是正确的,反而 Guest 的 GIC 降级了?
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
| nya@garfield:~$ sudo dmesg | grep -i kvm [ 0.000000] Linux version 6.6.98-vendor-sun60iw2-kvm1 (build@armbian) (aarch64-linux-gnu-gcc (Debian 14.2.0-19) 14.2.0, GNU ld (GNU Binutils for Debian) 2.44) #1 SMP PREEMPT Tue Apr 7 02:28:35 UTC 2026 [ 0.273476] kvm [1]: IPA Size Limit: 40 bits [ 0.273519] kvm [1]: VHE mode initialized successfully [ 0.746737] usb usb1: Manufacturer: Linux 6.6.98-vendor-sun60iw2-kvm1 xhci-hcd [ 0.747324] usb usb2: Manufacturer: Linux 6.6.98-vendor-sun60iw2-kvm1 xhci-hcd [ 3.037534] usb usb3: Manufacturer: Linux 6.6.98-vendor-sun60iw2-kvm1 ehci_hcd [ 3.110338] usb usb4: Manufacturer: Linux 6.6.98-vendor-sun60iw2-kvm1 ohci_hcd nya@garfield:~$ sudo dmesg | grep -i gic [ 0.000000] CPU features: detected: GIC system register CPU interface [ 0.000000] GICv3: GIC: Using split EOI/Deactivate mode [ 0.000000] GICv3: 256 SPIs implemented [ 0.000000] GICv3: 0 Extended SPIs implemented [ 0.000000] Root IRQ handler: gic_handle_irq [ 0.000000] GICv3: GICv3 features: 16 PPIs [ 0.000000] GICv3: CPU0: found redistributor 0 region 0:0x0000000003460000 [ 0.007498] GICv3: CPU1: found redistributor 100 region 0:0x0000000003480000 [ 0.008314] GICv3: CPU2: found redistributor 200 region 0:0x00000000034a0000 [ 0.009023] GICv3: CPU3: found redistributor 300 region 0:0x00000000034c0000 [ 0.009712] GICv3: CPU4: found redistributor 400 region 0:0x00000000034e0000 [ 0.010390] GICv3: CPU5: found redistributor 500 region 0:0x0000000003500000 [ 0.011088] GICv3: CPU6: found redistributor 600 region 0:0x0000000003520000 [ 0.011737] GICv3: CPU7: found redistributor 700 region 0:0x0000000003540000
|
继续翻阅 KVM 相关源码尝试寻找答案。发现 kvm_arm_init() 所调用的 init_subsystems() 函数存在以下片段:
1 2 3 4 5 6 7 8 9 10
| err = kvm_vgic_hyp_init(); switch (err) { case 0: vgic_present = true; break; case -ENODEV: case -ENXIO: vgic_present = false; err = 0; break;
|
当 kvm_vgic_hyp_init() 返回 -ENODEV 或者 -ENXIO 时,并不会导致 KVM 初始化异常。继续看 kvm_vgic_hyp_init():
1 2 3 4 5 6 7 8 9 10 11 12 13 14
| int kvm_vgic_hyp_init(void) { bool has_mask; int ret;
if (!gic_kvm_info) return -ENODEV;
has_mask = !gic_kvm_info->no_maint_irq_mask;
if (has_mask && !gic_kvm_info->maint_irq) { kvm_err("No vgic maintenance irq\n"); return -ENXIO; }
|
对照 dmesg 输出,发现根本没有走到第一个 kvm_err(),因此应当是 gic_kvm_info 为 null,寻其 reference 可见 setter 函数 vgic_set_kvm_info(),继续寻找 vgic_set_kvm_info() 的reference (根据前期 dmesg 打印为 GICv3)找到 drivers/irqchip/irq-gic-v3.c:gic_of_setup_kvm_info 可见有片段:
1 2 3
| gic_v3_kvm_info.maint_irq = irq_of_parse_and_map(node, 0); if (!gic_v3_kvm_info.maint_irq) return;
|
再往上找 device_node 的源头可见 IRQCHIP_DECLARE(gic_v3, "arm,gic-v3", gic_of_init);,随即查阅 Device Tree 绑定文档 arm,gic-v3.yaml 可知 arm,gic-v3 节点下的 interrupts 属性用于指定 VGIC maintenance interrupt。对照 Orange Pi 的 sun60iw2p1.dtsi 可见:
1 2 3 4 5 6 7 8 9
| gic: interrupt-controller@3400000 { compatible = "arm,gic-v3"; #interrupt-cells = <3>; #address-cells = <0>; interrupt-controller; reg = <0x0 0x03400000 0 0x10000>, /* GIC Dist */ <0x0 0x03460000 0 0xFF004>; /* GIC Re */ interrupt-parent = <&gic>; };
|
明显缺失了 interrupts。那这个 interrupt 写什么呢?我直接去友商那边抄作业碰碰运气(万一能成呢 反正都是 GIC-600):rk3588s.dtsi :
1 2 3 4 5 6
| compatible = "arm,gic-v3"; reg = <0x0 0xfe600000 0 0x10000>, /* GICD */ <0x0 0xfe680000 0 0x100000>; /* GICR */ interrupts = <GIC_PPI 9 IRQ_TYPE_LEVEL_HIGH 0>; ... #interrupt-cells = <4>;
|
宏展开就是 interrupts = <1 9 4 0>;,因为 RK3588S 的 #interrupt-cells 为 4 ,再看一眼 arm,gic-v3.yaml 中的定义,第四个值是给亲和占位的,因此补 1 9 4 即可。
因为目前手上只有 Orange Pi 4 Pro 因此补到板级上:
1 2 3 4 5 6 7 8 9 10 11 12 13
|
@@ -3,6 +3,10 @@ /dts-v1/;
#include "sun60iw2p1.dtsi" + +&gic { + interrupts = <1 9 4>; /* GIC_PPI 9, IRQ_TYPE_LEVEL_HIGH */ +}; //#define TYPEC_DP 1 /{ board = "A733";
|
重新编译 dtb 重启板子,dmesg 可见 [ 0.273406] kvm [1]: vgic interrupt IRQ9。随后启动虚拟机,可见:
1 2 3 4 5 6 7 8 9 10 11
| [ 0.000000] GICv3: 256 SPIs implemented [ 0.000000] GICv3: 0 Extended SPIs implemented [ 0.000000] Root IRQ handler: gic_handle_irq [ 0.000000] GICv3: GICv3 features: 16 PPIs, DirectLPI [ 0.000000] GICv3: GICD_CTRL.DS=1, SCR_EL3.FIQ=0 [ 0.000000] GICv3: CPU0: found redistributor 0 region 0:0x00000000080a0000 [ 0.000000] ITS [mem 0x08080000-0x0809ffff] [ 0.000000] ITS@0x0000000008080000: allocated 8192 Devices @429d0000 (indirect, esz 8, psz 64K, shr 1) [ 0.000000] ITS@0x0000000008080000: allocated 8192 Interrupt Collections @429e0000 (flat, esz 8, psz 64K, shr 1) [ 0.000000] GICv3: using LPI property table @0x00000000429f0000 [ 0.000000] GICv3: CPU0: using allocated LPI pending table @0x0000000042a00000
|
并成功进入 login prompt:
结语
目前这张板子是可以正常使用 KVM 了,但依旧缺少大量验证。加上自己工作繁忙没有太多时间折腾了,宿主机侧 ITS 搞了一半,gic 节点做了 dma-noncoherent 上电开机卡死在副核启动阶段,具体原因待查。
板子送给朋友耍了,因为这板子的驱动真是**一样,无线驱动都能给 SDIO 挂死。(见下图)
Wi-Fi 与 TF 卡都是走 SDIO 的,首先这个无线驱动就会一直写 dmesg 看着烦人不说,如果一直 scan 下去,就会随机把 SDIO 挂死,原因不明,一次随机卡死 1-2 颗核心,这你受的了吗?