進程kswapd0與events/0消耗大量CPU的問題

一次網站宕機的處理
服務器君一共花費了108.597 ms進行了4次數據庫查詢,努力地為您提供了這個頁面。
試試閱讀模式?希望聽取您的建議

今天下午網站宕了兩次機,發工單給阿里云,發現原因是服務器的CPU 100%了。

重啟服務器后,使用 top 命令看看是哪些進程消耗那么大的 CPU 使用。盯了有好十幾分鐘,主要消耗 CPU 的進程有兩個,一個是 mysql,另一個是 apache。下面的圖可以看到,mysql 占用了很大部分的 CPU 使用。apache 單個進程雖然占得不多,但有不少個 apache 進程同時存在,也消耗了不少 CPU 的使用。

當然,這些不足以讓服務器的 CPU 直接跑滿掛掉,后來發現了兩個大家伙:

當 mysql 的 CPU 消耗降下來之后,出現了兩個奇怪的進程:kswapd0 和 events/0。

1. kswapd0

Linux uses kswapd for virtual memory management such that pages that have been recently accessed are kept in memory and less active pages are paged out to disk.

(what is a page?)…Linux uses manages memory in units called pages.

So,the kswapd process regularly decreases the ages of unreferenced pages…and at the end they are paged out(moved out) to disk

kswapd0進程的作用:它是虛擬內存管理中,負責換頁的,操作系統每過一定時間就會喚醒kswapd ,看看內存是否緊張,如果不緊張,則睡眠,在 kswapd 中,有2 個閥值,pages_hige 和 pages_low,當空閑內存頁的數量低于 pages_low 的時候,kswapd進程就會掃描內存并且每次釋放出32 個free pages,直到 free page 的數量到達pages_high。

查看內存使用率,發現內存確實不夠用,有時候已經使用到了swap。

2. events/0

另一個進程 events/0 是工作者線程,主要是用來執行delay work的。先簡單介紹一下。

我們都知道中斷的底半部機制有三種:軟中斷、tasklet和工作隊列。其中軟中斷很少使用,內核中只有網絡在使用,它的延時是最小的。

tasklet是軟中斷的一個應用,所有線程注冊的tasklet都會順序被執行。因此tasklet的執行環境是軟中斷上下文,所以不能阻塞或者睡眠。一般情況下,tasklet的延遲也很小,可以滿足大部分需求。

要是底半部中可能睡眠,那么只好使用工作隊列了。工作隊列其實是把要做的底半部的函數交給內核的專門線程去調用。這樣工作隊列就運行于線程環境了,不怕睡眠。當然,睡眠會影響注冊到同一線程的其它底半部的執行,但不會引起大的問題。每個CPU都有一個線程(events/n,n是編號)負責執行工作隊列,第一個CPU的線程是events/0,如果是雙核的,還會有一個events/1線程。程序使用了工作隊列,所以每次執行都會多出一個events/0(第一個CPU上工作線程)。

內核的軟中斷輔助處理線程ksoftirqd/n(n是CPU編號),它們負責出發軟中斷中觸發的軟中斷。它們將重新觸發軟中斷放在系統空閑時調用,而不是馬上。這樣用戶空間不至于饑餓,重新觸發的軟中斷也得以盡快執行。(《Linux內核設計與實現》85頁)

宕機原因顯而易見了,physical mem 不足,引起 swap 頻繁。其實這也是 VPS 使用上的一個常見的問題了,通常是由 Apache 占用內存過多引起的。kswapd0 是系統的虛擬內存管理程序,如果物理內存不夠用,系統就會喚醒 kswapd0 進程,由 kswapd0 分配磁盤交換空間作緩存,因而占用大量的 CPU 資源。重啟Apache,釋放內存,問題就會消失。但這不是長久之計,最好的方法還是花點錢升級下內存。我也知道隨著訪問量的不斷上漲,肯定要升級下內存,但是沒想到這個問題這么快就來了……

吐槽一下,雖然網站現在的規模也不算很大,但是慢慢也開始吃服務器的硬件了。CPU和內存接下來也需要升級,一個人維護這么一個站點還真的各種操心。

本文地址:http://www.snpmgr.live/librarys/veda/detail/2539,歡迎訪問原出處。

不打個分嗎?

轉載隨意,但請帶上本文地址:

http://www.snpmgr.live/librarys/veda/detail/2539

如果你認為這篇文章值得更多人閱讀,歡迎使用下面的分享功能。
小提示:您可以按快捷鍵 Ctrl + D,或點此 加入收藏

閱讀一百本計算機著作吧,少年

很多人覺得自己技術進步很慢,學習效率低,我覺得一個重要原因是看的書少了。多少是多呢?起碼得看3、4、5、6米吧。給個具體的數量,那就100本書吧。很多人知識結構不好而且不系統,因為在特定領域有一個足夠量的知識量+足夠良好的知識結構,系統化以后就足以應對大量未曾遇到過的問題。

奉勸自學者:構建特定領域的知識結構體系的路徑中再也沒有比學習該專業的專業課程更好的了。如果我的知識結構體系足以囊括面試官的大部分甚至吞并他的知識結構體系的話,讀到他言語中的一個詞我們就已經知道他要表達什么,我們可以讓他坐“上位”畢竟他是面試官,但是在知識結構體系以及心理上我們就居高臨下。

所以,閱讀一百本計算機著作吧,少年!

《Python學習手冊(第4版)》 魯特茲(Mark Lutz) (作者), 李軍 (譯者), 劉紅偉 (譯者), 等 (譯者)

《Python學習手冊(第4版)》學習Python的主要內建對象類型:數字、列表和字典。使用Python語句創建和處理對象,并且學習Python的通用語法模型。使用函數構造和重用代碼,函數是Python的基本過程工具。學習Python模塊:封裝語句、函數以及其他工具,以便構建較大的組件。學習Python的面向對象編程工具,用于組織程序代碼。學習異常處理模型,以及用于編寫較大程序的開發工具。了解高級Python工具,如裝飾器、描述器、元類和Unicode處理等。

更多計算機寶庫...

燃烧吧足球登陆