北京主機托管

北京電信通主機托管之服務器被入侵,故障排查流程
2014-08-30 10:21:00

       隨著軟件技術的迅速發展,在北京電信通所服務的眾多企業中已經有很多擁有了自己的服務器。但是由于自身管理以及技術水平并不能夠與嚴苛的服務器管理相匹配,因此造成了眾多企業在面對服務器被入侵顯得很無助。因此北京電信通小編經常接到客戶來電咨詢服務器被攻擊的求助電話。面對這種情況,北京電信通小編也顯得很無奈,因為我們并不是專業的病毒防護專家而僅僅是作為寬帶接入服務或者北京主機托管運營商的角色。服務器的防護更多的是需要您自己來維護。為了讓大家提升自身的相關防護水平,北京電信通小編特意搜集了服務器被入侵故障排查的一些流程和方法,希望可以幫助到您。
 
   下面通過一個案例介紹下當一個服務器被rootkit入侵后的處理思路和處理過程,rootkit
攻擊是Linux系統下最常見的攻擊手段和攻擊方式。
 
1、受攻擊現象
這是一臺客戶的門戶網站服務器,托管在電信機房,客戶接到電信的通知:由于此服務器持續對外發送數據包,導致100M帶寬耗盡,于是電信就切斷了此服務器的網絡。此服務器是Centos5.5版本,對外開放了80、22端口。
從客戶那里了解到,網站的訪問量并不大,所以帶寬占用也不會太高,而耗盡100M的帶寬是絕對不可能的,那么極有可能是服務器遭受了流量攻擊,于是登錄服務器做詳細的檢測。
 
2、初步分析
 在電信人員的配合下通過交換機對該服務器的網絡流量進行了檢測,發現該主機確實存在對外80端口的掃描流量,于是登錄系統通過“netstat –an”命令對系統開啟的端口進行檢查,可奇怪的是,沒有發現任何與80端口相關的網絡連接。接著使用“ps –ef”、“top”等命令也沒有發現任何可疑的進程。于是懷疑系統是否被植入了rootkit。
為了證明系統是否被植入了rootkit,我們將網站服務器下的ps、top等命令與之前備份的同版本可信操作系統命令做了md5sum校驗,結果發現網站服務器下的這兩個命令確實被修改過,由此斷定,此服務器已經被入侵并且安裝了rootkit級別的后門程序。
3、斷網分析系統
由于服務器不停向外發包,因此,首先要做的就是將此服務器斷開網絡,然后分析系統日志,尋找攻擊源。但是系統命令已經被替換掉了,如果繼續在該系統上執行操作將變得不可信,這里可以通過兩種方法來避免這種情況,第一種方法是將此服務器的硬盤取下來掛載到另外一臺安全的主機上進行分析,另一種方式就是從一個同版本可信操作系統下拷貝所有命令到這個入侵服務器下某個路徑,然后在執行命令的時候指定此命令的完整路徑即可,這里采用第二種方法。 
我們首先查看了系統的登錄日志,查看是否有可疑登錄信息,執行如下命令:
1
more /var/log/secure |grep Accepted
通過對命令輸出的查看,有一條日志引起了我們的懷疑:
1
Oct 3 03:10:25 webserver sshd[20701]: Accepted password for mail from 62.17.163.186 port 53349 ssh2
這條日志顯示在10月3號的凌晨3點10分,有個mail帳號從62.17.163.186這個IP成功登錄了系統,mail是系統的內置帳號,默認情況下是無法執行登錄操作的,而62.17.163.186這個IP,經過查證,是來自愛爾蘭的一個地址。從mail帳號登錄的時間來看,早于此網站服務器遭受攻擊的時間。
接著查看一下系統密碼文件/etc/shadow,又發現可疑信息:
1
mail:$1$kCEd3yD6$W1evaY5BMPQIqfTwTVJiX1:15400:0:99999:7:::
很明顯,mail帳號已經被設置了密碼,并且被修改為可遠程登錄,之所以使用mail帳號,猜想可能是因為入侵者想留下一個隱蔽的帳號,以方便日后再次登錄系統。
然后繼續查看其他系統日志,如/var/log/messages、/var/log/wtmp均為空文件,可見,入侵者已經清理了系統日志文件,至于為何沒有清空/var/log/secure文件,就不得而知了。
4、尋找攻擊源
 
 
到目前為止,我們所知道的情況是,有個mail帳號曾經登錄過系統,但是為何會導致此網站服務器持續對外發送數據包呢?必須要找到對應的攻擊源,通過替換到此服務器上的ps命令查看系統目前運行的進程,又發現了新的可疑:
1
nobody   22765     1  6 Sep29 ?        4-00:11:58 .t
這個.t程序是什么呢,繼續執行top命令,結果如下:
1
2
PID USER    PR  NI  VIRT  RES  SHR  S  %CPU %MEM    TIME+  COMMAND
22765 nobody  15  0   1740m 1362m 1228  S  98.3    91.5      2892:19   .t
從輸出可知,這個t程序已經運行了4天左右,運行這個程序的是nobody用戶,并且這個t程序消耗了大量的內存和cpu,這也是之前客戶反映的網站服務器異常緩慢的原因,從這個輸出,我們得到了t程序的進程PID為22765,接下來根據PID查找下執行程序的路徑在哪里:
進入內存目錄,查看對應PID目錄下exe文件的信息:

2
[[email protected] ~]# /mnt/bin/ls -al /proc/22765/exe 
lrwxrwxrwx 1 root root 0 Sep 29 22:09 /proc/22765/exe -> /var/tmp/…/apa/t
這樣就找到了進程對應的完整程序執行路徑,這個路徑很隱蔽,由于/var/tmp目錄默認情況下任何用戶可讀性,而入侵者就是利用這個漏洞在/var/tmp目錄下創建了一個“…”的目錄,而在這個目錄下隱藏著攻擊的程序源,進入/var/tmp/…/目錄,發現了一些列入侵者放置的rootkit文件,列表如下:
1
2
3
4
5
6
7
8
9
[[email protected] ...]#/mnt/bin/ls -al
drwxr-xr-x 2 nobody nobody 4096 Sep 29 22:09 apa
-rw-r--r-- 1 nobody nobody     0 Sep 29 22:09 apa.tgz
drwxr-xr-x 2 nobody nobody 4096 Sep 29 22:09 caca
drwxr-xr-x 2 nobody nobody 4096  Sep 29 22:09 haha
-rw-r--r-- 1 nobody nobody      0Sep 29 22:10 kk.tar.gz
-rwxr-xr-x 1 nobody nobody      0 Sep 29 22:10 login
-rw-r--r-- 1 nobody nobody      0 Sep 29 22:10 login.tgz 
  -rwxr-xr-x 1 nobody nobody      0 Sep 29 22:10 z
  -rwxr-xr-x 1 nobody nobody      0 Sep 29 22:10 gorhce
通過對這些文件的分析,基本判斷這就是我們要找的程序攻擊源,其中:
1)、z程序是用來清除系統日志等相關信息的,例如執行:
1
./z 62.17.163.186
這條命令執行后,系統中所有與62.17.163.186有關的日志將全部被清除掉。
2)、在apa目錄下有個后門程序t,這個就是之前在系統中看到的,運行此程序后,此程序會自動去讀apa目錄下的ip這個文件,而ip這個文件記錄了各種ip地址信息,猜想這個t程序應該是去掃描ip文件中記錄的所有ip信息,進而獲取遠程主機的權限,可見這個網站服務器已經是入侵者的一個肉雞了。
3)、haha目錄里面放置的就是用來替換系統相關命令的程序,也就是這個目錄下的程序使我們無法看到操作系統的異常情況。
4)、login程序就是用來替換系統登錄程序的木馬程序,此程序還可以記錄登錄帳號和密碼。
5、查找攻擊原因
到這里為止,服務器上遭受的攻擊已經基本清晰了,但是入侵者是如何侵入這臺服務器的呢?這個問題很重要,一定要找到入侵的根源,才能從根本上封堵漏洞。 
為了弄清楚入侵者是如何進入服務器的,需要了解下此服務器的軟件環境,這臺服務器是一個基于java的web服務器,安裝的軟件有apache2.0.63、tomcat5.5,apache和tomcat之間通過mod_jk模塊進行集成,apache對外開放80端口,由于tomcat沒有對外開放端口,所以將問題集中到apache上面。
通過查看apache的配置發現,apache僅僅處理些靜態資源請求,而網頁也以靜態頁面居多,所以通過網頁方式入侵系統可能性不大,既然漏洞可能來自于apache,那么嘗試查看apache日志,也許能發現一些可疑的訪問痕跡,通過查看access.log文件,發現了如下信息:
1
2
62.17.163.186 - - [29/Sep/2013:22:17:06 +0800] "GET http://www.xxx.com/cgi-bin/awstats.pl?configdir=|echo;echo;ps+-aux%00 HTTP/1.0" 200 12333 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; pt-BR; rv:1.8.1) Gecko/20121010 Firefox/2.0"
62.17.163.186 - - [29/Sep/213:22:17:35 +0800] "GET http://www.xxx.com/cgi-bin/awstats.pl?configdir=|echo;echo;cd+/var/tmp/.../haha;ls+-a%00 HTTP/1.0" 200 1626 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; pt-BR; rv:1.8.1) Gecko/20121010 Firefox/2.0" 
至此,發現了漏洞的根源,原來是awstats.pl腳本中configdir的一個漏洞,通過了解此服務器的應用,客戶確實是通過一個Awstats的開源插件來做網頁訪問統計,通過這個漏洞,攻擊者可以直接在瀏覽器上操作服務器,例如查看進程、創建目錄等。通過上面第二條日志可以看出,攻擊者正常瀏覽器執行切換到/var/tmp/.../haha目錄的操作。
這個腳本漏洞挺可怕的,不過在Awstats官網也早已給出了修補的方法,對于這個漏洞,修復方法很簡單,打開awstats.pl文件,找到如下信息:
1
2
3
4
5
6
7
8
9
10
if ($QueryString =~ /configdir=([^&]+)/i)
{
$DirConfig=&DecodeEncodedString("$1");
}
修改為如下即可:
if ($QueryString =~ /configdir=([^&]+)/i)
{
$DirConfig=&DecodeEncodedString("$1");
$DirConfig=~tr/a-z0-9_\-\/\./a-z0-9_\-\/\./cd;
}
6、揭開謎團
通過上面逐步分析和介紹,此服務遭受入侵的原因和過程已經非常清楚了,大致過程如下:
(1)攻擊者通過Awstats腳本awstats.pl文件的漏洞進入了系統,在/var/tmp目錄下創建了隱藏目錄,然后將rootkit后門文件傳到這個路徑下。 
(2)攻擊者通過植入后門程序,獲取了系統超級用戶權限,進而控制了這臺服務器,通過這臺服務器向外發包。
(3)攻擊者的IP地址62.17.163.186可能是通過代理過來的,也可能是攻擊者控制的其他肉雞服務器。
(4)攻擊者為了永久控制這臺機器,修改了系統默認帳號mail的信息,將mail帳號變為可登錄,并且設置了mail帳號的密碼。
(5)攻擊者在完成攻擊后,通過后門程序自動清理了系統訪問日志,毀滅了證據。
通過對這個入侵過程的分析,發現入侵者的手段還是非常簡單和普遍的,雖然入侵者刪除了系統的一些日志,但是還是留下了很多可查的蹤跡,其實還可以查看用戶下的.bash_history文件,這個文件是用戶操作命令的歷史記錄。
7、如何恢復網站
由于系統已經文件被更改和替換,此系統已經變得完全不可信,因此建議備份網站數據,重新安裝系統,基本步驟如下:
(1)安裝穩定版本的操作系統,刪除系統默認的并且不需要的用戶。
(2)系統登錄方式改為公鑰認證方式,避開密碼認證的缺陷。
(3)安裝更高版本的apache和最新穩定版本的Awstats程序。
(4)使用Linux下的Tcp_Wrappers防火墻,限制ssh登錄的源地址。
 
       以上就是
北京電信通小編為您搜集了相關的服務器被入侵的故障排除流程,希望可以為您的茫然提供最好的答案。我們北京電信通雖然僅僅是作為寬帶及服務器托管的運營商的身份。但是對于客戶所遇到的各種問題,我們也是有義務和責任去努力幫助您。因此歡迎大家遇到相關技術問題之時可以主動聯系我們,也希望我們能夠幫助到每一位客戶。
(本文由北京電信通www.237429.live總結發布,如需轉載請注明轉載于北京電信通官網)


[返回北京電信通首頁] [打印] [返回上頁]
備案信息 舉報中心 安全網絡監察 文明傳播 網警110
通过电脑操作的赚钱方法 免费麻将游戏大全 十一运夺金遗漏 北京快乐8 基本走势 股票发行价格公式 20选8快乐十分玩法 星悦陕西麻将 广东11选5定位走势图 GPK钱龙捕鱼送分鱼种和时间 沈阳盛京棋牌官网 海南博彩业