Wednesday, June 30, 2010

Echeneidae IDS 難以捉摸的Bug

我在昨天早上的測試中,發現在高度壓力測試下Echeneidae IDS會發生異常的錯誤。
IDS會卡住導致暫存封包過量,最後終止Program。

目前這個Bug我還找不出解決方法(連哪裡出錯都不知道),不過懷疑跟多核心CPU同步問題有關

Sunday, June 27, 2010

Echeneidae IDS 2 Alpha 1 Release

內容
Echeneidae IDS是一個擁有模組化規則的網路入侵檢測系統(只檢測不防禦,沒有Firewall的功能),每個規則都為一個Python Module,被載入後可以透過繼承modrule.rule和其他通用模組進行封包的取得和分析。

每個規則模組都為獨立Process,因此如果一個模組出現異常導致關閉,不會影響到其他規則
並且由於為多個獨立Process,所以在多核心CPU上可以發揮平行運算的效能(核心捕捉封包的模組設計上盡量減少了多個Process存取同一個資源時所造成的等待)

目前已完成的基本模組有封包解析模組(modfilter.py,目前已能解析Ethernet II、ARP、IPv4、TCP)、IPv4碎片重組(modipfrag.py)、計時模組(define.py中,由於受限於GIL,可能不是很準)

核心C Extension Module已經盡量提升效能了,不過礙於Python本身是直譯式語言的關係,效能問題頗嚴重,不過在多核CPU上可以藉由平行運算的優勢來改善一些

測試
目前內建測試規則有兩個,偵測Port Scan和紀錄TCP連線,至於規則的寫法,之後會有說明文件(有興趣的人可以直接去研究rule資料夾下的ruleX.py,裡面的都是標準寫法)

需要Winpcap和Python 3.1.2才能運行(Python 3.1.2必須是32bit版本,OS是64bit沒關係)
執行資料夾下的echeneidae.py,輸入網卡代號選擇網卡,Echeneidae IDS便開始運作,將偵測結果顯示在螢幕上

注意,由於會有一個緩衝用的檔案packet.swap,會占用610MB的硬碟空間,建議在1G以上硬碟空間執行,另外建議不要在中文目錄下執行

目前測試Intel CPU單核 雙核 四核都能正常運作,以測正常運作作業系統有Windows 7 32bit和下面(是我目前能測的,不代表其他Windows OS不能運作)

Windows XP SP3 32bit

Windows Server 2003 SP2 32bit

Windows Server 2008 R2 64bit





Thursday, June 24, 2010

Echeneidae IDS 顛倒架構 & IPv4 碎片重組模組

IP碎片重組一直是Echeneidae IDS中重要的部分,顯然也是個大問題。
我從開發早期就開始構思IP碎片重組模組,不過直到今天我才真正的實踐了它。

從前天開始著力於開發它時,才發現原本的封包解析架構並不適合它,應該說架構上顛倒了。
原本架構在OSI 7模型中,是由下到上,由最底層開始解析。但是接觸IP碎片重組後,發現我對TCP封包的理解有所錯誤(TCP和UDP之類的應該是可以由一個或多個IP封包組成),因此我做了一個重大的決定,重新改寫解析架構,改為由上往下,TCP解析時可以要求多個IP封包傳回,進行重組

不幸的是,我今天連續遇到了兩個極為奇怪又簡單的Bug,分別是陣列少加了[XXX]和多了一個break; ,我都透過逐步檢查才找到並解決它,當然過程耗費了數個小時,是令人抓狂的一件事(尤其在找到那一剎那,才發覺自己浪費了多少時間)

不過令人高興的是,IPv4碎片重組模組已經順利的通過了由8000多片碎片組成的TCP封包測試,對於數小時的Debug來說,是個不錯的結果

圖中 TCP test [192, 168, 2, 3]:-19513 -> [192, 168, 2, 254]:71 為碎片重組規則偵測結果

Sunday, June 20, 2010

Windows Event的一些小地方

為了讓Echeneidae IDS能有更高的效能,所以必須用一些奇怪的方式使用Event這個同步物件,當然也必須更深入了解它的特性


在CreateEvent中的bManualReset可以設定這個Event是要
手動用ResetEven設回未標記狀態(nonsignaled state),還是在經過WaitForSingleObject
之類的等待API後,自動設回未標記狀態(nonsignaled state),這其中有些有趣的問題


auto-reset
如果多個Process同時在等待一個Event,Event被設定為auto-reset,
那麼當Event被標記時,會怎樣呢?


答案是,其中一個等待會被釋放,然後又被設回未標記狀態,其它的等待還是繼續等待


manual-reset
一樣是多個Process在等待一個Event,這次Event被設為手動設回未標記狀態,當Event被標記時,所有的等待都會釋放

Windows 為了改變使用者(使用管理員權限 -> 使用一般User權限) 所做的設計

我認為,Linux很大一部分的安全性來自於系統不允許使用者預設使用Root操作系統(很多資料也極力不建議這麼做),但是Windows絕大部分使用者還是使用管理員權限操作系統,導致許多惡意程式獲得過高的權限破壞系統

在深入 Windows 核心 - Windows Internals - 第五版中,有提到不少關於Windows的安全性設計(作者顯然用一大章節才粗略的描述了概觀),其中也寫到了Windows UAC跟為了相容性而作的虛擬化設計

Windows UAC其實設計上有一個很大的功能,在於方便使用者在一般User下於必要時刻取得適當權限(e.g. 管理員權限),Windows 7一般User安全性有清楚的提及,我認為比起Linux在需要Root權限情況下所設計的詢問機制友善多了

相容用的虛擬化技術是為了相容一些被設計以管理員權限執行的軟體(大部分是如此,微軟現在也在將"以一般User權限角度設計軟體"的觀念推廣給軟體設計者),由於這些軟體本來預料中是會被以管理員權限執行的,所以也會做出許多一般User權限被阻止的行為(e.g. 寫檔案到C:\WINDOWS資料夾下),微軟為了相容這些軟體,會將這些被阻止的操作轉向到當前User的一個資料夾下(登錄檔則放在當前User的一個特殊Key下),就像是一個SandBox,軟體還是可以照常運作(它以為它操作成功了),但是又不會危害到Windows所建立的安全架構

不過虛擬化技術只在32bit有效,微軟認為64bit是個全新的開始,所以並沒有做這項相容設計

不過這目前看起來,大部分的使用者還是以管理員帳戶來操作系統

Friday, June 18, 2010

提升Echeneidae IDS 同步處理效能

一個星期以來,我不斷著力於提升關於同步存取的效能問題,它是蠻大的一個Delay部分

放棄了標準的 Mutex鎖住資源方法(取得Mutex,把其他的Process都停下來),改用InterlockedXXX系列API搭配巧妙的設計來解決這個令人頭痛的問題(能改善效能的原因,我在Windows API Mutex 與 Yourself SpinLock中有說明)


在經過不斷的思考後(大部分時間都是邊休閒邊思考),今天在一個下午的小憩時終於想出了所有問題的解決方法,並且順利的實作出來

其中除了用到了InterlockedXXX以外,還使用了CPU內建的同步機制(同一塊記憶體,Read&Write 不會衝突,http://developer.intel.com/Assets/PDF/manual/253668.pdf的第八章節有清楚的提及,希望AMD CPU也有相同設計)來減少API的呼叫,加快速度
幸運的,僅經過一次Bug的修改,Program便順利的運作了,在壓力測試下也有不錯的表現

P4 3.2G  200KB\s下載流量下有穩定的表現


Thursday, June 17, 2010

深入 Windows 核心 - Windows Internals - 第五版

今天拿到了

Windows® Internals: Including Windows Server 2008 and Windows Vista, Fifth Edition

這本好書的中文翻譯版

封面還是一樣,一支廣為人知的手電筒
譯者翻譯的還不算太差,不過把一些專有名詞翻譯了,這樣在網路上找資料時比較不方便
比之前拿到的另一本翻譯書好多了,那本書的翻譯常常讓人不知所措