Linux缓存机制buffers/cached

Linux 操作系统中,当应用程序需要读取文件中的数据时,操作系统会先分配一些内存,将数据从磁盘读入到这些内存中,然后再将数据发给应用程序;当需要往文件中写数据时,操作系统先分配内存接收用户数据,然后再将数据从内存写到磁盘上。然而,如果有大量数据需要从磁盘读取到内存或者由内存写入磁盘时,系统的读写性能就变得低下。因为无论是从磁盘读数据,还是写数据到磁盘,都是一个很消耗时间和系统资源的过程。

缓存原理:为了提高系统读写性能,内核利用一部分物理内存分配出缓冲区,用于缓存系统操作和数据文件,当内核收到读写的请求时,内核先去缓存区找是否有请求的数据,有就直接返回,如果没有则通过驱动程序直接操作磁盘。缓存优点是减少系统调用次数,降低CPU上下文切换和磁盘访问频率。缓存是内存的一部分,它透明地存储数据,以便将来对该数据的请求可以更快地得到服务。内核利用内存来缓存磁盘数据并提高I/O性能。
缓存机制:Linux引入了bufferscached机制,buffers与cached都是内存操作,用来保存系统曾经打开过的文件以及文件元数据,这样当操作系统需要读取某些文件时,首先在buffers与cached内存区查找,如果找到,直接读出给应用程序,如果没有找到需要数据,才从磁盘读取,这就是操作系统的缓存机制,通过缓存,大大提高了操作系统的性能。
目录项和元数据:在介绍buffers和cached不同之前,先解释目录项(dentry),元数据(metadata)概念,Linux文件系统是典型的树状关系,可以在根目录下使用tree命令查看。为了方便查找文件,linux引入目录项(dentry)描述目录与文件的关系树,Linux为每一个目录建立一个目录项,也为每个文件建立一个目录项。一个目录项主要包括文件名和索引节点号,索引节点号是指向索引节点表( system inode table )中对应的索引节点,使用ls -i命令就可以看到当前目录中的目录或文件的名字和索引节点号。目录项结构中包含很多信息,可以建立目录、子目录、文件之间的关系,利用目录项关系,加快文件的查找。在Linux系统中数据可分为两大类,数据和元数据,数据泛指普通文件中的实际数据,元数据是用来描述一个文件的特征的系统数据。为了便于更好的理解数据和元数据,请看下面的例子,使用cat命令查看/etc/hostname文件,显示的内容就是实际数据,使用stat命令查看/etc/hostname,显示的内容就是元数据,包括块大小,文件类型,索引节点号码,访问权限,时间戳等。

# ls -i
9605314 doc 25167360 jump 26452260 scripts 4429632 soft 228749 test.txt

# cat /etc/hostname
safeidc

# stat /etc/hostname
File: /etc/hostname
Size: 9 Blocks: 8 IO Block: 4096 regular file
Device: fd00h/64768d Inode: 8620417 Links: 1
Access: (0644/-rw-r–r–) Uid: ( 0/ root) Gid: ( 0/ root)
Context: system_u:object_r:hostname_etc_t:s0
Access: 2020-12-19 13:52:26.158472928 +0800
Modify: 2020-11-06 13:48:38.917519851 +0800
Change: 2020-11-06 13:48:38.917519851 +0800
Birth: –
buffers与cached不同:Buffers是存储在页缓存下的数据的磁盘块表示形式,Buffers包含驻留在页缓存(Page Cache)下的文件/数据的元数据(metadata),通常指的是目录项(dentries)和索引节点(inode)。而cached是用来给文件/数据做缓冲。更通俗一点说,cached里面存储的是数据,buffers里面存储的是数据在磁盘块表示形式。
为了便于更好地理解buffers和cached机制,下面做两个测试:

测试一:执行cat命令查看主机名,第一次查看主机名后,Cached值明显增大了,是因为主机名的数据存入了cached;第二次查看主机名后,Cached值只增加了4kB,且消耗的时间比第一次查看主机名消耗的时间要小的多,是因为直接从cached中读取主机名数据,所以消耗时间变短。

# echo 3 > /proc/sys/vm/drop_caches;cat /proc/meminfo |egrep -w ‘Buffers|Cached’
Buffers: 108 kB
Cached: 115716 kB

# time cat /etc/hostname ;cat /proc/meminfo |egrep -w ‘Buffers|Cached’
safeidc
real 0m0.005s
user 0m0.001s
sys 0m0.003s
Buffers: 108 kB
Cached: 121964 kB

# time cat /etc/hostname ;cat /proc/meminfo |egrep -w ‘Buffers|Cached’
safeidc
real 0m0.002s
user 0m0.001s
sys 0m0.001s
Buffers: 108 kB
Cached: 121968 kB
测试二:执行find命令在系统中查找文件fstab,第一次找到文件之后,bfffers的值变大了,这是因为文件的目录项存入了buffers;第二次找到文件之后,buffers的值没变,且消耗的时间要比第一次查找消耗的时间小的多,是因为直接从buffers中找到了文件所在的路径,所以消耗的时间变短。

# echo 3 > /proc/sys/vm/drop_caches;cat /proc/meminfo |egrep -w ‘Buffers|Cached’
Buffers: 108 kB
Cached: 115720 kB

# time find / -name fstab;cat /proc/meminfo |egrep -w ‘Buffers|Cached’
/etc/fstab
real 0m7.805s
user 0m0.524s
sys 0m5.360s
Buffers: 1388 kB
Cached: 118172 kB

# time find / -name fstab;cat /proc/meminfo |egrep -w ‘Buffers|Cached’
/etc/fstab
real 0m1.112s
user 0m0.565s
sys 0m0.529s
Buffers: 1388 kB
Cached: 118172 kB
共享内存段:共享内存段也被视为缓存,尽管它们不代表磁盘上的任何数据。可以使用ipcs -m命令并检查bytes列来检查共享内存段的大小。

# ipcs -m
—— Shared Memory Segments ——–
key shmid owner perms bytes nattch status
0x301375cf 0 root 640 32768 0
查看cached和buffers大小:通过cat /proc/meminfo命令可以查看cached和buffers的大小,如果系统是RHEL6&CentOS6或之前的版本,可以使用free命令查看cached和buffers大小,但自RHEL7&CentOS7开始,free命令只显示cache/buffer的总和,且cache指的是由page cache和slabs使用的内存,和cached是不同的。

# cat /proc/meminfo |egrep -w “Buffers:|Cached:”
Buffers: 14648 kB
Cached: 12621116 kB

# cat /etc/redhat-release
Red Hat Enterprise Linux Server release 6.4 (Santiago)

# free -m
total used free shared buffers cached
Mem: 7872 4329 3542 0 380 3053
-/+ buffers/cache: 895 6976
Swap: 6143 0 6143

# cat /etc/redhat-release
Red Hat Enterprise Linux Server release 7.8 (Maipo)

# free -m
total used free shared buff/cache available
Mem: 15883 2230 383 791 13269 12531
Swap: 2047 1 2046
如果没有剩余的空闲内存,而新进程需要空闲内存,会发生什么情况?
当一个新进程需要内存上的空闲页时,内核将检查是否有任何页在缓存中,相应地内核将通过将文件从缓存同步到本地磁盘来回收空闲页,并为新进程释放内存。

为什么缓存会占用这么多内存?
根据Linux虚拟内存管理机制,这种行为是正常的。要理解为什么缓存会变得如此之高,以及为什么这不是一个问题,就必须了解I/O在Linux上是如何工作的。当用户进程读取或写入文件时,它实际上是在修改主内存中该文件的副本。内核从磁盘创建该副本,并在必要时将更改写回磁盘。这些副本占用的内存称为缓存内存。

每当用户进程启动读或写操作时,都会消耗缓存内存。内核将查找用户正在操作的文件部分的副本,如果没有这样的副本,它将分配一个新的缓存页,并用从磁盘读取的适当内容填充它。如果用户只读取文件,则此页将标记为“干净”缓存页。但是,一旦用户写入文件,页面将被标记为“dirty”。ps中出现的名为pdflush的内核线程将定期唤醒并将所有标记为脏的页面复制回磁盘,然后再次将它们标记为干净。请注意,该页只被重新标记为clean,当它被写回时,它不会被释放,而是被保留起来,以防有人想对它缓存的文件部分执行进一步的IO操作。

缓存页只有在内核需要内存用于其他操作时才会再次释放。因为已经从磁盘读取缓存页可以加快I/O,而且由于清除干净的缓存页与分配空闲页一样容易,而且由于空闲页对系统的性能和功能没有任何帮助,因此没有理由将缓存页转换为空闲页。如果内存充满了缓存页,下一次内核需要内存时,它将简单地逐出最近最少使用的干净缓存页并重新使用它们。

如何进行手动 buffer/cached回收?
系统在内存使用达到一定阀值的情况下会自动启动回收机制回收buffer/cached,也可以进行手动的buffer/cached回收,由于buffer/cache主要是用于文件的读写使用,所以进行文件回收时,一般常伴随系统的I/O繁忙,因为系统会将缓存数据写回磁盘。

警告:红帽不建议在产品环境手动释放缓存,因为在实践中发现可能会出现系统挂起现象,手动释放缓存只能临时的屏蔽系统中出现的缓存占用内存过大现象,没有去查找根本原因,并解决问题。

将内存中数据强制先刷新到磁盘中:
sync; sleep 3; sync
清理缓存:
echo 3 > /proc/sys/vm/drop_caches 表示清除pagecache和slab分配器中的缓存对象
echo 1 > /proc/sys/vm/drop_caches:表示清除pagecache。
echo 2 > /proc/sys/vm/drop_caches:表示清除回收slab分配器中的对象(包括目录项缓存和inode缓存)。slab分配器是内核中管理内存的一种机制,其中很多缓存数据实现都是用的pagecache。
如果buffers/cached过高,如何排查哪些进程引起的?
通过hcache和lsof命令我们可以找到引起缓存过高的进程,但是hcache命令不是系统预安装命令,可以从网上直接下载hcache或下载hcache的源码包编译安装后使用,对于产品环境,从安全的角度考虑,建议先在测试环境从github下载hcache的源码包编译生成hcache命令,然后再拷贝 hcache命令到产品环境使用。

hcache编译安装方法如下:

git clone https://github.com/silenceshell/hcache.git
cd hcache
make build
sudo cp hcache /usr/local/bin/
使用hcache和lsof命令查找引起缓存过高的进程示例如下:

# hcache -top 3
+———————————+—————-+————+———–+———+
| Name | Size (bytes) | Pages | Cached | Percent |
|———————————+—————-+————+———–+———|
| /var/lib/sss/mc/initgroups | 11567160 | 2825 | 2825 | 100.000 |
| /var/lib/sss/mc/passwd | 9253600 | 2260 | 2260 | 100.000 |
| /usr/lib64/libmozjs-60.so.0.0.0 | 23727992 | 5793 | 1776 | 030.658 |
+———————————+—————-+————+———–+———+

# hcache -top 3 –bname
+———————-+—————-+————+———–+———+
| Name | Size (bytes) | Pages | Cached | Percent |
|———————-+—————-+————+———–+———|
| initgroups | 11567160 | 2825 | 2825 | 100.000 |
| passwd | 9253600 | 2260 | 2260 | 100.000 |
| libmozjs-60.so.0.0.0 | 23727992 | 5793 | 1776 | 030.658 |
+———————-+—————-+————+———–+———+

# lsof /var/lib/sss/mc/initgroups
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
sssd_nss 1337 root mem-w REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups
sssd_nss 1337 root 20uw REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups
sshd 57738 root mem REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups
sshd 57738 root 3r REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups
sshd 57756 root mem REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups
sshd 57756 root 3r REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups
dbus-daem 57780 root mem REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups
dbus-daem 57780 root 7r REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups
使用free命令查看内存使用情况时需要注意的问题:应该更关注的是可用内存的大小,而不是实际物理内存剩余多少。从Linux缓存机制来说,buffers和cached都是系统可用内存,通常情况下看到bufferes和cached占用内存多,这是一个正常现象,它不是一个问题,所以在看到物理内存快要耗尽时,不要惊慌,因为系统在需要时会自动回收buffers和cached占用的内存。

原创文章,作者:Safeidc,如若转载,请注明出处:https://www.safeidc.cn/2020/12/linux-buffers-cached.html

发表评论

邮箱地址不会被公开。

联系我们

在线咨询:点击这里给我发消息

时间:周一至周五,9:30-18:30,节假日休息