27 天复刻一个类 Unix 系统!

27 天复刻一个类 Unix 系统!
2024年06月13日 18:02 CSDN

2022 年,软件开发者 Drew DeVault 集结 30 位工程师耗时两年开发了一种名为 Hare(野兔)的系统编程语言,对标 C 语言,旨在构建一款“简单、稳定和健壮”的语言。

时下,Drew DeVault 又基于 Hare 开发了一款类 Unix  操作系统,其中仅花费了 27 天的时间。以下为他的经验分享。

原文链接:https://drewdevault.com/2024/05/24/2024-05-24-Bunnix.html

作者 | Drew DeVault

编译 | 苏宓

出品 | CSDN(ID:CSDNnews)

以下为译文:

最近,我想要逃离“真实工作”一段时间,放松一下,所以我选择启动了一个新的编程项目,这个项目风险小,纯粹是为了娱乐。从 4 月 21 日开始,我尝试着用大约一个月的时间,为 x86_64 架构目标设计一个类似 Unix 的操作系统。

最终的成果就是这个 Bunnix(https://git.sr.ht/~sircmpwn/bunnix)项目。抛开因各种原因未能投入到 Bunnix 开发的时间,我实际上花了共 27 天在这个项目上。

如果你愿意,可以亲自尝试一下:

  • Bunnix 0.0.0 的 ISO 镜像文件:https://cyanide.ayaya.dev/bunnix.iso

要使用 qemu(一种开源的硬件虚拟化和仿真软件,允许用户在一台计算机上运行多个操作系统)启动这个 ISO 镜像:

qemu-system-x86_64 -cdrom bunnix.iso -display sdl -serial stdio

你也可以将 ISO 镜像写入 U 盘,并在硬件上启动。我已经在 ThinkPad X220 和 Starlabs Starbook Mk IV 上进行了测试,它可能在大多数 AMD64 机器上运行良好。支持传统启动和 EFI 两种方式。但有几点限制需要注意,特别是目前还没有 USB 支持,所以需要一个 PS/2 键盘(或者通过 BIOS 进行 PS/2 模拟)。大多数笔记本电脑的键盘默认是通过 PS/2 连接的,而通过 PS/2 模拟使用 USB 键盘的效果可能会有所不同。

提示:Doom(毁灭战士游戏)的游戏按键设置有些特别。使用 W、A、S、D 键来移动,右 Shift 键射击,空格键开门。退出游戏的功能尚未实现,所以在玩完后直接重启即可。我得承认,在这个移植版本上我没有花太多时间。

Bunnix 包含哪些内容?

Bunnix 内核主要由 Hare 语言编写,同时包含一些 C 语言组件,比如用于支持 ext4 文件系统的 lwext4,以及用于内核视频终端的 libvterm

内核主要支持以下驱动程序:

  • PCI(传统模式)

  • AHCI 块设备

  • GPT 和 MBR 分区表

  • PS/2 键盘

  • 平台串行端口

  • CMOS 时钟

  • 帧缓冲区(由引导加载程序配置)

  • ext4 和 memfs 文件系统

此外,内核还具备众多特性:

  • 虚拟文件系统

  • /dev 目录下预置了块设备、null、zero 和全伪设备、/dev/kbd 和 /dev/fb0、串行和视频 TTY,以及控制终端 /dev/tty

  • 相当完善的终端模拟器和还算过得去的 termios 支持

  • 大约 40 个系统调用,包括但不限于 clock_gettime、poll、openat 等,以及 fork、exec、pipe、dup、dup2、ioctl 等

Bunnix 是一个单用户系统,目前并未尝试强制执行 Unix 文件权限和所有权,但只需再投入几天的工作量,就相对容易地实现多用户系统。

这个项目包含了两个引导加载程序:

  • 一个是兼容 multiboot、用 Hare 编写的用于传统启动的引导加载程序;

  • 另一个是用 C 语言编写的用于 EFI 的引导加载程序。

它们都会将内核加载作为一个 ELF 文件,如果需要的话,还会加载 initramfs。EFI 引导加载程序内置了 zlib 以解压缩 initramfs;而 multiboot 兼容的引导加载程序会为我们处理这一解压缩过程。

用户空间大部分由第三方源码组装而成,其中包括以下第三方软件:

  • 巨洞冒险游戏(Colossal Cave Adventure,advent)

  • dash shell(/bin/sh)

  • Doom(毁灭战士游戏)

  • gzip(压缩工具)

  • less(分页查看器)

  • lok(基于AWK的脚本)

  • lolcat(使输出文本带有彩虹色的工具)

  • mandoc(手册页查看器)

  • sbase(核心实用工具集)

  • tcc(Tiny C Compiler)

  • Vim 5.7(文本编辑器)

Bunnix 所使用的 libc 库源自 musl libc,并针对 Bunnix 的需求做了大量修改。curses 库则是基于 netbsd-curses。

这个系统能运行但存在不少 bug,某些部分相当粗糙,用户体验可能差异较大。请做好系统崩溃的心理准备!

Bunnix 的诞生

我在项目的第三天开始在 Mastodon(https://fosstodon.org/@drewdevault/112319697309218275)上记录整个过程。以下是项目进行到第三天时的情况:

接下来,分享一些关于开发 Bunnix 的思考与感悟。

Bunnix 的部分代码来源于我早期的一个项目,名为 Helios(https://sr.ht/~sircmpwn/helios/)。以前的这个系统完成了一些相对通用 CPU 设置(如 GDT、IDT 等)的内核部分,以及支持 AHCI 这样的驱动程序,这些功能特性被稍作调整然后融入到了 Bunnix 系统中。

我承认,如果没有通过 Helios 项目获得的先期经验,Bunnix 或许不可能如此迅速地构建完成。

其中两个比较具挑战性的方面是 ext4 支持和虚拟终端

为此,我引入了两个外部依赖项 lwext4 和 libvterm。集成这两个依赖项时,我不得不多次重写文件系统层的代码,虽然至今仍存在一些问题,但要实现一个正确的 Unix 文件系统设计(包括 openat 和对 inode 的良好处理),就需要比预期更深入地挖掘及研究 lwext4 的内部细节。

同时,我也学到了很多关于如何在 Hare 项目中混合使用不同源语言的知识,因为内核需要链接 Hare、汇编和 C 的源代码——这种做法效果显著,但仍有一些痛点,尤其是在构建 ABI 集成架构时。如果能自动化将 C 头文件转换为 Hare 的前向声明模块,那就太好了。Hare-c 项目中已经做了一些这方面的工作,但还有很长的路要走。如果重新开始,我可能会在设计文件系统层时更加谨慎。

正确实现终端功能也很难。我起初不确定是否要添加终端功能,但最终决定要移植 Vim,于是就这样决定了。libvterm 是一个很棒的终端状态机库,但它文档 记录功能很差,需要大量微调才能完美集成。为了确保终端流畅运行,我还花了很多时间在性能优化上。

另一个难以准确实现的部分是调度程序。Helios 有一个比 Bunnix 更简单的调度器,虽然我最初基于 Helios 设计了 Bunnix 的调度器,但后来不得不抛弃并重写了很大一部分。Helios 和 Bunnix 都是单 CPU 系统,但与 Helios 不同的是,Bunnix 允许在内核中进行上下文切换,事实上,即使是抢占式任务切换也是通过内核进入和退出的。这就需要多个内核栈和不同的任务切换方法。然而,这样做的优势也很明显,其中之一就是使用等待队列实现磁盘读取和 pipe(2)这类阻塞操作变得简单得多。有了足够健壮的调度器,内核的其他部分及其驱动程序就能相对容易地整合在一起。

当然,信号处理也是一个让人头疼的问题。Helios 并不试图成为类 Unix 系统,因此没有实现信号机制,但要构建一个 Unix 系统,就必须实现信号,尽管它们可能是个复杂的大工程。最终在 Bunnix 中实现的信号机制非常基础:我主要确保 SIGCHLD 能正确工作,以便我能移植 dash。

得益于基于 musl libc 构建我的 libc,第三方软件的移植相对容易。我将 musl 的大部分内容导入到自己的 libc 中,并调整使其能在 Bunnix 上运行,这让我快速获得了全面且可靠的 C 库。有了这个基础,移植第三方软件就变得轻而易举,所包含的大部分软件几乎无需修改或只需少量补丁就能构建成功。

我学到了什么

Bunnix 是一个有趣的项目。我的另一个项目 Helios 是一个微内核设计,它不是类 Unix 系统,而 Bunnix 则是一个更接近 Unix 的单体内核。

令我惊讶的是,我在这个过程中学到了很多关于文件系统的知识。作为微内核的 Helios 将文件系统实现分散到了许多在独立进程中运行的驱动程序中。这种方式运作得还算不错,但我发现即使只是为了跟踪活动对象,文件系统层中的缓存也是非常重要的。当我再次审视 Helios 时,为了达到这个目的,我将有很多重构(甚至重写)文件系统代码的工作要做。

自然地,在单体内核设计中,驱动程序的处理方法也简单得多,尽管对于所有堆砌在 Ring 0 中的东西我并不完全满意。也许有改进 Helios 调度器设计的空间,该设计能够将单体内核设计中一些理想的控制流元素融入微内核系统中。

我也终于从头到尾学习了信号机制的工作原理,真是够复杂的。我一直觉得这是 Unix 设计中最薄弱的环节之一,这个项目并没有改变我的这一看法。

在 Helios 中,我曾试图避免使用位图分配器,而且总的来说,Helios 中的内存管理有点过于繁琐,这也是当前系统最大的痛点之一。然而,Bunnix 使用了一个简单的位图分配器来管理系统中所有的常规页面,我发现它运行得非常好,其开销远没有我担心的那么大。我几乎肯定会将这些经验带回给 Helios。

最后,我确信仅用 30 天就完成了 Bunnix 的构建,如果是微内核设计,这是不可能实现的壮举。归根结底,单体内核的实现要简单得多。微内核设计的优势确实引人注目,不过也许更好的解决方案在于混合内核。

关于后续计划

Bunnix,这是我出于娱乐目的而创建的编程项目,希望通过它也能让大家享受到开发的乐趣。现在,我已经感受到这份乐趣了!

目前看来,我觉得没有必要再投入更多时间和精力于此,尽管这个项目或许会受到一些关注,将来,我可能会时不时地花上几天时间在它上面,我也很乐意整合来自社区的改进建议。但在很大程度上,它现在已经基本完成,可以算是一件艺术品了。

我在操作系统开发领域的下一步将是带着学到的许多经验和一些重大设计改动回归到 Helios 项目上。但我仍然认为 Bunnix 本身就是一个有趣且独特的操作系统,很大程度上是因为它展示了 Hare 作为内核黑客语言的优秀之处。一些改进的重点包括:

  • 文件系统的目录缓存及更好的缓存机制

  • 解决 ext4 Bug

  • 实现 procfs 和 top 命令

  • 支持 mmap 文件映射

  • 更多的信号(例如 SIGSEGV)

  • 支持多用户

  • NVMe 块设备支持

  • IDE 块设备支持

  • ATAPI 和 ISO 9660 支持

  • Intel HD音频支持

  • 网络堆栈

  • 基础系统中的Hare工具链

  • 自托管能力

至于这些改进是首先由我来实施,还是由你们中的某位读者来完成,我们拭目以待。

无论如何,希望大家在探索 Bunnix 时玩得开心!

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部