开源鸿蒙内核源码分析系列 | “内核”驱动 | 作者披露写这个系列的动因

开源鸿蒙内核源码分析系列 | “内核”驱动 | 作者披露写这个系列的动因

我是谁?

大家可以叫我turing ,计算机硕士,某互联网公司技术副总裁 。计划用 5 – 10 年时间把鸿蒙系统的底层实现整理成档,包括:内核实现、驱动框架、协议栈、应用框架、编译构建、运行时系统 等核心子系统。工程浩大,自不量力,然兴趣所至,义无反顾, 此念不息,坚如磐石。

内驱力?

一句话:热爱是所有的理由和答案。

因大学时阅读 linux 2.6 内核痛并快乐的经历,一直有个心愿,对底层基础技术进行一次系统性的整理,方便自己随时翻看,同时让更多对底层感兴趣的小伙伴减少时间,加速对计算机系统级的理解,而不至于过早的放弃。但因过程种种,多年一直没有行动,基本要放弃这件事了。恰逢 2020/9/10 鸿蒙正式开源,重新激活了多年的心愿,就有那么点如黄河之水一发不可收拾了。

包含三部分内容:注源,写博 ,画图, 目前对内核源码的注解完成 80% ,博客分析完成80+篇,百图画鸿蒙完成20张,空闲时间几乎被占用,时间不够用,但每天都很充实,连做梦鸿蒙系统都在鱼贯而入。是件很有挑战的事,时间单位以年计,已持续一年半,期间得到众多小伙伴的支持与纠错,在此谢过 ! 😛

为何要精读内核源码?

码农的学职生涯,都应精读一遍内核源码。以浇筑好计算机知识大厦的地基,地基纵深的坚固程度,很大程度能决定未来大厦能盖多高。那为何一定要精读细品呢?

因为内核代码本身并不太多,都是浓缩的精华,精读是让各个知识点高频出现,不孤立成点状记忆,没有足够连接点的知识点是很容易忘的,点点成线,线面成体,连接越多,记得越牢,如此短时间内容易结成一张高浓度,高密度的系统化知识网,训练大脑肌肉记忆,驻入大脑直觉区,想抹都抹不掉,终生携带,随时调取。跟骑单车一样,一旦学会,即便多年不骑,照样跨上就走,游刃有余。

大家在平时,一定会有这种体会:学任何一个新东西的过程中,必然会接触到很多新的概念,尤其是像 Java/android 这样的的生态,枝繁叶茂,相应的概念也特别多。很多同学,如果掌握不到要领,一个猛子扎下去,很快就会无数的概念海藻绕在其中出,难以自拔,痛苦难耐。

(〃・ิ‿・ิ)ゞ鸿蒙内核开发者

感谢开放原子开源基金会,致敬鸿蒙内核开发者提供了如此优秀的源码,一了多年的夙愿,津津乐道于此。从内核一行行的代码中能深深感受到开发者各中艰辛与坚持,及鸿蒙生态对未来的价值,这些是张嘴就来的网络喷子们永远不能体会到的。可以毫不夸张的说鸿蒙内核源码可作为大学:C语言,数据结构,操作系统,汇编语言,计算机系统结构,计算机组成原理,微机接口 七门课程的教学项目。如此宝库,不深入研究实在是暴殄天物,于心不忍,坚信鸿蒙大势所趋,未来可期,其必定成功,也必然成功,誓做其坚定的追随者和传播者。

理解内核的三个层级

普通概念映射级:这一级不涉及专业知识,用大众所熟知的公共认知就能听明白是个什么概念,也就是说用一个普通人都懂的概念去诠释或者映射一个他们从没听过的概念。让陌生的知识点与大脑中烂熟于心的知识点建立多重链接,加深记忆。说别人能听得懂的话这很重要。一个没学过计算机知识的卖菜大妈就不可能知道内核的基本运作了吗?不一定。在系列篇中试图用故事,打比方,去引导这一层级的认知,希望能卷入更多的人来关注基础软件,人多了场子热起来了创新就来了。

专业概念抽象级:对抽象的专业逻辑概念具体化认知, 比如虚拟内存,老百姓是听不懂的,学过计算机的人都懂,具体怎么实现的很多人又都不懂了,但这并不妨碍成为一个优秀的上层应用开发者,因为虚拟内存已经被抽象出来,目的是要屏蔽上层对它具体实现的认知。试图用百篇博客系列篇去拆解那些已经被抽象出来的专业概念, 希望能卷入更多对内核感兴趣的应用软件人才流入基础软硬件生态, 应用软件咱们是无敌宇宙,但基础软件却很薄弱。

具体微观代码级:这一级是具体到每一行代码的实现,到了用代码指令级的地步,这段代码是什么意思?为什么要这么设计?有没有更好的方案?鸿蒙内核源码注解分析 试图从细微处去解释代码实现层,英文真的是天生适合设计成编程语言的人类语言,计算机的01码映射到人类世界的26个字母,诞生了太多的伟大奇迹。但我们的母语注定了很大部分人存在着自然语言层级的理解映射,希望内核注解分析能让更多爱好者节约时间成本,哪怕节约一分钟也是这件事莫大的意义。

四个维度解剖内核

为了全方位剖析内核,在 画图写文注源成册 四个方向做了努力,试图以讲故事,画图表,写文档,拆源码 立体的方式表述内核。很喜欢易中天老师的一句话:研究方式不等于表述方式。底层技术并不枯燥,它可以很有意思,它可以是我们生活中的场景。

一:百图画鸿蒙 | 一图一主干 | 骨骼系统

如果把鸿蒙比作人,百图目的是要画出其骨骼系统。

百图系列每张图都是心血之作,耗时甚大,能用一张就绝不用两张,所以会画的比较复杂,高清图会很大,可在公众号中回复 百图 获取3倍超高清最新图。v**.xx代表图的版本,请留意图的更新。

例如:双向链表 是内核最重要的结构体,站长更愿意将它比喻成人的左右手,其意义是通过寄生在宿主结构体上来体现,可想象成在宿主结构体装上一对对勤劳的双手,它真的很会来事,超级活跃分子,为宿主到处拉朋友,建圈子。其插入 | 删除 | 遍历操作是它最常用的社交三大件,若不理解透彻在分析源码过程中很容易卡壳。虽在网上能找到很多它的图,但怎么看都不是自己想要的,干脆重画了它的主要操作。

二:百万注内核 | 处处扣细节 | 细胞血管

百万汉字注解内核目的是要看清楚其毛细血管,细胞结构,等于在拿放大镜看内核。内核并不神秘,带着问题去源码中找答案是很容易上瘾的,你会发现很多文章对一些问题的解读是错误的,或者说不深刻难以自圆其说,你会慢慢形成自己新的解读,而新的解读又会碰到新的问题,如此层层递进,滚滚向前,拿着放大镜根本不愿意放手。

因鸿蒙内核6W+代码量,本身只有较少的注释, 中文注解以不对原有代码侵入为前提,源码中所有英文部分都是原有注释,所有中文部分都是中文版的注释,同时为方便同步官方版本的更新,尽量不去增加代码的行数,不破坏文件的结构,注释多类似以下的方式:

  • 在重要模块的.c/.h文件开始位置先对模块功能做整体的介绍,例如异常接管模块注解如图所示:

注解过程中查阅了很多的资料和书籍,在具体代码处都附上了参考链接。

  • 绘制字符图帮助理解模块 ,例如 虚拟内存区域分布没有图很难理解。
  • 而函数级注解会详细到重点行,甚至每一行, 例如申请互斥锁的主体函数,不可谓不重要,而官方注释仅有一行,如图所示:

注解创建了一些特殊记号,可直接搜索查看

  •  搜索 @note_pic 可查看绘制的全部字符图
  •  搜索 @note_why 是尚未看明白的地方,有看明白的,请新建 Pull Request完善
  •  搜索 @note_thinking 是一些的思考和建议
  •  搜索 @note_#if0 是由第三方项目提供不在内核源码中定义的极为重要结构体,为方便理解而添加的。
  •  搜索 @note_link 是网址链接,方便理解模块信息,来源于官方文档,百篇博客,外部链接
  •  搜索 @note_good 是给源码点赞的地方
三:参考手册 | Doxygen呈现 | 诊断

在中文加注版基础上构建了参考手册,如此可以看到毛细血管级的网络图,注解支持 doxygen 格式标准。

图为内核main的调用关系直观展现,如果没有这张图,光main一个函数就够喝一壶。main本身是由汇编指令 bl main调用

可前往 >> 鸿蒙研究站 | 参考手册 (http://doxygen.weharmonyos.com/index.html)体验

图为内核所有结构体索引,点击可查看每个结构变量细节

可前往 >> 鸿蒙研究站 | 结构体索引 (http://doxygen.weharmonyos.com/classes.html)体验。

四:百文说内核 | 抓住主脉络 | 肌肉器官

百文相当于摸出内核的肌肉和器官系统,让人开始丰满有立体感,因是直接从注释源码起步,在加注释过程中,每每有心得处就整理,慢慢形成了以下文章。内容立足源码,常以生活场景打比方尽可能多的将内核知识点置入某种场景,具有画面感,容易理解记忆。说别人能听得懂的话很重要! 百篇博客绝不是百度教条式的在说一堆诘屈聱牙的概念,那没什么意思。更希望让内核变得栩栩如生,倍感亲切。

与代码需不断debug一样,文章内容会存在不少错漏之处,请多包涵,但会反复修正,持续更新,在开发者论坛发布的内容文章名称前面会有v**.xx 代表文章序号和修改的次数,精雕细琢,言简意赅,力求打造精品内容。

鸿蒙论坛 | 干净.营养.不盲从

鸿蒙论坛的链接如下:bbs.weharmonyos.com

搭个论坛貌似不合时宜, 但站长却固执的认为它是技术人最好的沟通方式, 它不像群各种叨絮使人焦虑被逼的屏蔽它, 它更像个异性知己,懂你给你留足空间思考,从不扰乱你的生活,鸿蒙论坛会一直存在,并坚持自己的风格(干净.营养.不盲从)。选择 Discuz 是因为它太优秀, 一个沉淀了20年的开源平台,被所谓的时代遗忘实在是太过可惜。哪天您得空了就去逛逛吧 , 它可能并没有那么糟糕。

四大码仓发布 | 源码同步官方

内核注解同时在 gitee | github | coding | gitcode 发布:

gitee仓

https://gitee.com/weharmony/kernel_liteos_a_note

github仓 :

https://github.com/kuangyufei/kernel_liteos_a_note

codechina仓

https://codechina.csdn.net/kuangyufei/kernel_liteos_a_note

coding仓

https://weharmony.coding.net/public/harmony/kernel_liteos_a_note/git/files

注解与官方源码按月保持同步。同步历史如下:

2022/08/28 — 完善测试用例

2022/07/18 — 开机代码微调

2022/06/03 — 增加 jffs2 编译选项

2022/05/09 — 标准库(musl , newlib) 目录调整

2022/04/16 — 任务调度模块有很大更新

2022/03/23 — 新增各CPU核自主管理中断, 定时器模块较大调整

2022/02/18 — 官方无代码更新, 只有测试用例的完善

2022/01/20 — 同步官方代码,本次官方对测试用例和MMU做了较大调整

2021/12/20 — 增加LMS模块,完善PM,Fat Cache

2021/11/12 — 加入epoll支持,对shell模块有较大调整,微调process,task,更正单词拼写错误

2021/10/21 — 增加性能优化模块perf,优化了文件映射模块

2021/09/14 — common,extended等几个目录结构和Makefile调整

2021/08/19 — 各目录增加了BUILD。gn文件,文件系统部分文件调整

2021/07/15 — 改动不大,新增blackbox,hidumper,对一些宏规范化使用

2021/06/27 — 对文件系统/设备驱动改动较大,目录结构进行了重新整理

2021/06/08 — 对编译构建,任务,信号模块有较大的改动

2021/05/28 — 改动不大,主要针对一些错误单词拼写纠正

2021/05/13 — 对系统调用,任务切换,信号处理,异常接管,文件管理,shell做了较大更新,代码结构更清晰

2021/04/21 — 官方优化了很多之前吐槽的地方,点赞

2020/09/16 — 中文注解版起点

注解子系统仓库

在给鸿蒙内核源码加注过程中发现仅仅注解内核仓库还不够,因为它关联了其他子系统,若对这些子系统不了解是很难完整的注解鸿蒙内核,所以也对这些关联仓库进行了部分注解,这些仓库包括:

编译构建子系统 | build_lite

https://gitee.com/weharmony/build_lite_note

协议栈 | lwip

https://gitee.com/weharmony/third_party_lwip

文件系统 | NuttX

https://gitee.com/weharmony/third_party_NuttX

标准库 | musl

https://gitee.com/weharmony/third_party_musl

关于 zzz 目录

中文加注版比官方版无新增文件,只多了一个zzz的目录,里面放了一些加注所需文件,它与内核代码无关,可以忽略它,取名zzz是为了排在最后,减少对原有代码目录级的侵入,zzz 的想法源于微信中名称为AAA的那帮朋友,你的微信里应该也有他们熟悉的身影吧 🙂


/kernel/liteos_a
├── apps                   # 用户态的init和shell应用程序
├── arch                   # 体系架构的目录,如arm等
│   └── arm                # arm架构代码
├── bsd                    # freebsd相关的驱动和适配层模块代码引入,例如USB等
├── compat                 # 内核接口兼容性目录
│   └── posix              # posix相关接口
├── drivers                # 内核驱动
│   └── char               # 字符设备
│       ├── mem            # 访问物理IO设备驱动
│       ├── quickstart     # 系统快速启动接口目录
│       ├── random         # 随机数设备驱动
│       └── video          # framebuffer驱动框架
├── fs                     # 文件系统模块,主要来源于NuttX开源项目
│   ├── fat                # fat文件系统
│   ├── jffs2              # jffs2文件系统
│   ├── include            # 对外暴露头文件存放目录
│   ├── nfs                # nfs文件系统
│   ├── proc               # proc文件系统
│   ├── ramfs              # ramfs文件系统
│   └── vfs                # vfs层
├── kernel                 # 进程、内存、IPC等模块
│   ├── base               # 基础内核,包括调度、内存等模块
│   ├── common             # 内核通用组件
│   ├── extended           # 扩展内核,包括动态加载、vdso、liteipc等模块
│   ├── include            # 对外暴露头文件存放目录
│   └── user               # 加载init进程
├── lib                    # 内核的lib库
├── net                    # 网络模块,主要来源于lwip开源项目
├── platform               # 支持不同的芯片平台代码,如Hi3516DV300等
│   ├── hw                 # 时钟与中断相关逻辑代码
│   ├── include            # 对外暴露头文件存放目录
│   └── uart               # 串口相关逻辑代码
├── security               # 安全特性相关的代码,包括进程权限管理和虚拟id映射管理
├── syscall                # 系统调用 
├── testsuites             # 单元测试用例 
├── tools                  # 构建工具及相关配置和代码
└── zzz                    # 中文注解版新增目录

官方文档 | 静态站点呈现

研究鸿蒙需不断的翻阅资料,吸取精华,其中官方文档必不可少, 为更好的呈现 OpenHarmony开发文档 , 特意做了静态站点 >> 鸿蒙研究站 | 官方文档 (https://weharmony.github.io/)来方便查阅官方资料,与官方资料保持同步更新。

左侧导航栏,右边索引区:

写在最后

我们最近正带着大家玩嗨OpenHarmony。如果你有用OpenHarmony开发的好玩的东东,或者有对OpenHarmony的深度技术剖析,想通过我们平台让更多的小伙伴知道和分享的,欢迎投稿,让我们一起嗨起来!有点子,有想法,有Demo,立刻联系我们:

合作邮箱:zzliang@atomsource.org