最新消息:欢迎来到 艺宵网,有任何问题或建议请联系!在线留言

云主机的13G内存去哪里了 聊聊Hugepages大页内存管理

Jacky 艺宵网

一、云主机13G内存被无故占用

今天群里的小伙伴在巡检云主机时发现一台云主机的内存监控报警了,登陆该云主机系统后发现系统内存被莫名占用了13G,空闲内存为“0”,所以导致监控报警,如图一所示:

图一 内存使用截图

接着小伙伴查看了进程相关信息,如图二所示,发现所有进程占用都是零点几,没有超过1G的,13G的内存去哪里了?

图二 系统进程截图

怀疑是系统缓存占用,于是重启了该云主机;但在重启云主机后还是一样的现象,查看内存使用的used项还是13G,空闲变为17G,如图三所示,。

图三 重启云主机后内存使用截图

这证明不是缓存占用,那该云主机的13G被谁用了?

二、揭秘云主机的13G内存

从上面的进程信息中我们可以看出,这台云主机主要运行的是oracle数据库,稍后有oracle经验的人都有所了解,在oracle部署和使用时往往需要配置HugePages,HugePages对于Linux上提升Oracle数据库性能是至关重要的。在系统中执行:grep HugePages /proc/meminfo命令,结果如图四所示,看到了HugePages _Total是6708,这个数字同13G还有差距,但感觉离答案进了一步!

图四 查看HugePages的信息

继续学习一下相关参数

HugePages_Total是指系统总共预留了多少HugePages,HugePages_Free指当前还有多少HugePages未分配(allocate),HugePages_Rsvd是指有多少HugePages是系统承诺了会分配给程序(commitment to allocate),但实际并未分配,HugePages_Surp指超分的页。

2.1大页内存示例数据解析

下面用实际的数据来进行说明,示例如图五所示。

图五 示例HugePages的信息

从上面的信息可以得出以下结论:当前hugepages一共实际使用了13007-11813=1194个pages(不包括预留的),预留了3372个pages。永远不会使用达到了11813-3372=8841个pages。每个page大小为2M,也就是说有接近16.5G的hugepages内存被浪费了(因为hugepages无法swap,所以不能被其它程序所使用)。换句话说:当前系统使用中或者即将被使用的hugepages的总和为HugePages_Total-HugePages_Free+HugePages_Rsvd=13007-11813+3372=4566个pages。

2.2终于找到13G内存

回到先前的云主机,Total是6708,每个page大小为2M,那6708*2M/1024≈13G,哇!终于找到13G内存了!原来是被系统的大页内存占用了,群里的小伙伴也确认了,如图六所示。

图六 小伙伴确认截图

群里的小伙伴们也都学到“HugePages”这一招,群主觉得有必须同大家分享一下,也欢迎大家加入华云的技术群,请关注华云官方公众号,来一起交流学习吧!

三、大页内存扩展学习

在Linux中大页分为两种:Huge pages(标准大页)和Transparent Huge pages(透明大页)。内存是以块即页的方式进行管理的,当前大部分系统默认的页大小为4096bytes即4K。1MB内存等于256页;1GB内存等于256000页。

3.1Huge pages

Huge pages是从Linux Kernel2.6后被引入的,目的是通过使用大页内存来取代传统的4kb内存页面,以适应越来越大的系统内存,让操作系统可以支持现代硬件架构的大页面容量功能。

Huge pages有两种格式大小:2MB和1GB,2MB页块大小适合用于GB大小的内存,1GB页块大小适合用于TB级别的内存;2MB是默认的页大小。

3.2Transparent Huge Pages

Transparent Huge Pages缩写THP,这个是RHEL6开始引入的一个功能,在Linux6上透明大页是默认启用的。

由于Huge pages很难手动管理,而且通常需要对代码进行重大的更改才能有效的使用,因此RHEL6开始引入了Transparent Huge Pages(THP),THP是一个抽象层,能够自动创建、管理和使用传统大页。

THP为系统管理员和开发人员减少了很多使用传统大页的复杂性,因为THP的目标是改进性能,因此其它开发人员(来自社区和红帽)已在各种系统、配置、应用程序和负载中对THP进行了测试和优化。这样可让THP的默认设置改进大多数系统配置性能。但是,不建议对数据库工作负载使用THP。

这两者最大的区别在于:标准大页管理是预分配的方式,而透明大页管理则是动态分配的方式。

如果云主机跑的是oracle数据,建议大家还是系统去学习一下oracle的文档,会有相关的说明。

3.3大页内存常用相关指令

查看大页内存使用情况

#grep Huge /proc/meminfo

查看系统numa架构,cpu分配情况

#numactl --hradware

挂载大页,重启后失效

#mkdir -p /mnt/huge

#mount -t hugetlbfs nodev /mnt/huge

永久挂在大页内存

#vim /etc/fstab

#nodev /mnt/huge hugetlbfs defaults 0 0 #挂载2M大页

#nodev /mnt/huge_1GB hugetlbfs pagesize=1GB 0 0 #挂载1G的大页

查看大页内存挂载情况

#cat /proc/mounts

查找正在使用大页的进程

#find /proc/*/smaps | xargs grep -ril "anon_hugepage"

取消挂载

#umount /dev/hugepages

#umount /mnt/huge

四、参考文档:

HugePages on Oracle Linux 64-bit

大家都在看

incaseformat病毒大面积爆发,请早做防范
科技资讯

incaseformat病毒大面积爆发,请早做防范

观威海 2021-01-14 536浏览 0评论

近期,部分单位政务网、互联网电脑感染“incaseformat病毒”,病毒可通过U盘、光盘等移动介质传播,导致删除大量文件且无法恢复,请各单位及时更新杀毒软件病毒库,专杀工具互联网下载地址:http://59.224.26.143。下班后关闭不使用的电脑,不要长期使电脑处于待机状态。...

2021年需要关注的10个IT趋势
科技资讯

2021年需要关注的10个IT趋势

Danny 2021-01-13 637浏览 0评论

当行业分析师和技术专家在2020年年初做出年度预测时,他们专注于云计算、人工智能、机器人等技术将如何改变市场。他们预测,对IT人才的需求将会供不应求,数据科学将继续发挥重要作用,数字化转型将决定组织业务的成败。但他们却没有预料到在全球爆发的新冠病毒疫情会从根本上改变人们工作和个人生活的各个方面。...

阿里百度等互联网平台上线“绿网计划”
科技资讯

阿里百度等互联网平台上线“绿网计划”

郑合惠子 2020-11-28 898浏览 0评论

每一年,涌入互联网平台的非正常搜索高达数百亿次。这些搜索背后,可能暗藏着试图自杀的人的挣扎与呼救。让每一次搜索背后的求助都能得到回应,而不是冰冷的报错与拦截,阿里百度等互联网平台上线“绿网计划” ,用暖心的宣导呼吁来取代“抱歉,这个页面找不到”。...

云麦科技出席CNBC全球科技大会,探讨智能健康未来
科技资讯

云麦科技出席CNBC全球科技大会,探讨智能健康未来

Jacky 2020-11-20 512浏览 0评论

以东西方科技对话为主题的2020CNBC全球科技大会,于2020年11月17日在广州召开。作为智能运动健康领域的头部企业,云麦科技受邀参加本次大会,云麦科技创始人CEO Wyatt出席,并与古德菲力CEO许捷一同参与《结构后疫情时代健康产业趋势》主题圆桌会谈。 疫情期间,大众对健康的关注度大幅提升,希望通过运动增强免疫,根据CBNDATA调...

奥克斯率先携手中国标准化研究院,联合共建首个符合GB/T33658热舒适实验室!
科技资讯

奥克斯率先携手中国标准化研究院,联合共建首个符合GB/T33658热舒适实验室!

Jacky 2020-11-20 476浏览 0评论

11月17日上午,奥克斯与中国标准化研究院在人类工效学领域达成共识,进行了合作签约,并在奥克斯创研中心举行了热舒适联合共建实验室揭牌仪式。中国标准化研究院作为国家级科研机构,拥有国内唯一经CNAS认可的人类工效学实验室。这是家电企业首次联合中国标准化研究院共建热舒适实验室,对奥克斯乃至整个家电行业来说意义非...

2020电子政务与智慧城市解决方案提供商100强
科技资讯

2020电子政务与智慧城市解决方案提供商100强

Danny 2020-11-18 1328浏览 0评论

智慧城市是电子政务的延伸与拓展,赋予了电子政务新的内涵。某种意义而言,电子政务与智慧城市就是同气连枝的共生关系,电子政务与智慧城市解决方案提供商正是将二者的发展做到“曲尽其妙”之境的重要推手。...

K歌人的狂欢,电商赛拉开2020全民K歌年度盛典大幕
科技资讯

K歌人的狂欢,电商赛拉开2020全民K歌年度盛典大幕

Jacky 2020-11-16 923浏览 0评论

日前,2020全民K歌年度盛典线上大赛电商赛场正式开赛,比赛将从主播、商家和品牌三个维度进行比拼,最终决出年度电商带货主播和商家的优胜者,跨界音乐人们将在这里实现自我价值的又一次飞跃。 除电商赛场之外,今年的年度盛典还设置了其余6大赛道公会、个人、粉丝团、歌房、家族和星计划,平台上的每位主播都将开足火力全...

新技术驱动新商业 网易创新企业大会看点前瞻
科技资讯

新技术驱动新商业 网易创新企业大会看点前瞻

Jacky 2020-11-16 912浏览 0评论

突如其来的疫情对传统商业模式的冲击,让各大企业看到了数字化技术和能力对于商业模式创新和商业生态系统重构的助力。AI、5G、云计算、超高清、VR/AR新技术层见迭出,线上零售、在线会议、互联网医疗、AI 营销新商业模式不断显现,正在重塑全行业。那么企业该如何利用新技术驱动新商业,获得创新发展呢? 11月28日,网易旗...

奢护四季 吾衣例外,COLMO洗衣机 X 例外打造奢品护理季,掀全国奢护美学风暴
科技资讯

奢护四季 吾衣例外,COLMO洗衣机 X 例外打造奢品护理季,掀全国奢护美学风暴

Jacky 2020-11-16 183浏览 0评论

高端衣物的背后,究竟有何奢护美学?自10月17日开始,从北京到重庆、上海、成都等全国十几座城市,高端AI科技家电品牌COLMO携手国内一线时装品牌例外,打造奢品护理季,让1%菁英群体零距离尊享空气洗体验,与数千位对品质生活有着无限追求的消费者一道,共同完成了一场奢护四季吾衣例外高端衣物奢护美学之旅。 尊享奢洗五 步...

网易数帆入选2020年电子信息行业自主创新成果
科技资讯

网易数帆入选2020年电子信息行业自主创新成果

Jacky 2020-11-16 515浏览 0评论

11月12日,2020第二十四届中国国际软件博览会(以下简称软博会),在杭州白马湖国际会展中心开幕。大会以软件铸魂,数智转型为主题,展现软件产业发展新特点、新模式、新业态。会上,中国电子信息行业联合会正式发布《2020年电子信息行业自主创新成果推广目录》。网易数帆基础软件平台成功入编该目录,荣膺自主创新应用称号...

发表我的评论
取消评论
昵称 (必填) 手机号 (必填)

网友最新评论【查看所有评论

阅读原文 阅读 100000+