SIM可以透過單一的主控台，將各種不同的安全與網路軟體所產生的資訊簡化並正規化，減少真實警訊外的雜訊，並找出對企業確實有用的趨勢與事件。將10,000筆事件餵給SIM處理，並要求它找出有意義的事件（例如路由器開機失敗或有人在內部慢慢地嘗試猜出整個網路的密碼等等）。
這些只是廣告台詞嗎？我們把這個問題丟給我們的實驗室，將各種安全及網路設備所產生的資料，餵給五個企業級領導品牌的SIM產品：Protego Networks的Mitigation and Response System（MARS）2.5、OpenService的Security Threat Manager v2、NetIQ的Security Manager 5.0、ArcSight的ArcSight 3.0，以及Network Intelligence的enVision Network Intelligence Engine等等。我們根據各SIM的共通元件進行評估：資料收集、分析、警告及回應；鑑識及報表；以及儲存、穩定性與封存等功能。
我們瞭解，要判斷SIM產品的價值，得視你放了多少「智慧」在裡面；而這些「企業規則」，就是用來告訴SIM引擎哪些資訊對企業而言是重要的。因此，這些產品如何允許你決定規則的自由度，就成了絕對的關鍵。我們所測試的SIM在這方面的表現，都有很大的差異。 資訊集中 在你分析資料之前，你必須先收集資料。SIM可以透過syslog 收集大多數的原始資料，而syslog則是每一項網路設備或多或少都有的格式。其中最大的例外就是Windows、Check Point Software Technologies的防火牆以及Cisco System的IDS偵測器。例如，Windows會將資訊儲存到事件記錄檔中及其他像效能監視計數器之類的系統資訊中。未直接支援syslog的設備與平台通常則需要利用代理程式（agent）來進行資料收集工作。
我們期望受測產品都具備可收納來自其他設備的資訊，尤其是資安界「四大天王」（big four）的產品，並且能有其他特殊的表現。 Protego、ArcSight以及Network Intelligence都能夠輕而易舉地通過syslog測試，但是OpenService以及NetIQ則無法通過。NetIQ是一套極佳的Windows SIM，但是其資料收集架構則不是為了異質網路而設計的；它的syslog伺服器一次只能夠處理單一種設備類型。如果你的網路是由許多供應商的產品組合而成，你就得放棄利用單一syslog伺服器來處理每一種設備類型的想法。
OpenService並未將其syslog伺服器整合進Security Threat Manager中，這是個很有趣的策略（奇怪的決定）。由於它是透過協力廠商的軟體來收集syslog資料，因此放棄了對資訊擷取的控制權，而這也是SIM處理程序的關鍵元件。但即便是透過協力廠商，也沒有太大的幫助，在我們的測試中，OpenService所建議使用的中介軟體就停擺了好多次。
各家廠商用來取得Windows資訊的方法各有所不同，它可以在本機取得利用Windows事件檢視器，或是透過網路從遠端取得資訊～你要選擇哪種方式，端視哪一類的資訊對你的重要度而定。若是要尋找潛在的複雜問題，如記憶體、磁碟或網路使用狀況，以及哪些程序正在執行等等，則需要本端的代理程式；掃描事件記錄檔則可透過遠端或本端來完成。而是否需將代理程式部署到每一個Windows系統（無論是只有伺服器還是每一個桌上型電腦）也會影響你的選擇。
有些廠商可以讓你選擇。例如OpenService就能讓你選擇是要利用無代理程式技術來抓取大多數的事件記錄檔，還是要安裝它們的代理程式，以便觀看CPU使用或磁碟空間等資訊。 NetIQ以Windows為中心的架構，可以輕易地看出使用代理程式的好處。除了擷取記錄檔之外，NetIQ代理程式還能告訴你有哪些程序正在執行，並能夠刪除禁止的程序以確實實行系統政策。如果你的公司規定了所有人都不能執行接龍程式，那麼NetIQ代理程式便會刪除這個程序。這是NetIQ的最大特點，雖然這不是一般SIM的核心功能之一。
單是取得資料，表示仗才打了一半。若要將資料變得有意義，你還必須加以解析並正規化。 廠商使用了各種廣泛的技術，以便從各種不支援syslog的設備或系統中抓取資料。Network Intelligence以及ArcSight可藉由讀取磁碟中的檔案、呼叫ODBC、讀取XML交易或接受SNMP訊息等方式來擷取資料。
所有的廠商都提供了一大串的支援設備清單，但是若你的設備不在清單中的話，你還是可以進行一些自訂工作來應變。無論SIM可以讓你利用自訂程式來支援自有的設備，或是要你另外付費來增加非標準設備的支援，都是很重要的差異點。當你在購買SIM時，請考慮你的網路上有些什麼，以及哪些是你必須付費，才能讓該產品與你的設備進行溝通。
例如，我們測試環境中的HP交換器使用的是SNMP，而非syslog。但這並不表示SIM無法支援，因為至少它還可以接受SNMP訊息。我們需要對每一項支援SNMP的產品，自行定義SNMP代理程式，才能戴入HP的MIB並將其對應到正規化的架構中。
最大的問題是你能否自行完成設定。所有的SIM都會根據其資料庫架構，將資料解析進適當的欄位中。不過這得看廠商是否公開這段程序。NetIQ、OpenService以及Network Intelligence都提供幾乎完全公開的架構。若你要新增設備，你只需打開文字編輯器然後寫上你自己的解析程式即可，你可以利用現存的檔案來當作其他設備的樣版。
ArcSight可讓你撰寫自己的解析程式，但卻不提供樣版檔案，以免讓其他競爭對手使用其解析程式。 即使你不想為自己的設備撰寫任何程式碼，你還是得動到這些檔案，因為這些檔案都有些臭蟲。這就是Protego所缺乏的部份了～它為每一項設備撰寫了程式，因此你無法動到這些程式。你無法新增自己的設備支援，也不能修復解析程式中的任何臭蟲～Protego必須自行除蟲。
不負眾望
分析與警訊，是SIM產品與佔用大量磁碟空間的記錄伺服器不同的地方。也是SIM與一般工具或安全架構的差異和價值所在。 若真要探究SIM的價值，你必須將「商業智慧」（business intelligence）轉化為關聯規則以及警訊行為的型式。SIM不像IDS具有上千種特徵資料庫。若沒有這些東西，SIM則是一點用處也沒有。SIM最重要的評估條件之一，就是它對特殊商業智慧規則的支援擴充性。
商業智慧有許多種呈現格式。例如，我們有時都會忘記或拼錯密碼，但如果有人在一分鐘之內嘗試了十次，就有可能是入侵嘗試。當你決定了你想知道什麼，以及你想忽略什麼時，商業智慧便建立出來了，而這也就是必須塞到SIM裡頭的東西。
不過，商業智慧並不容易。這些產品全都需要大量的自訂化。無論你是自行加入商業智慧，還是使用廠商的專業服務，你都必須投入大量的金錢與時間。我們花了一整個星期來調校每項產品，但還是無法做到我們認為完全發揮其價值的程度。
我們的測試是利用20項工作來表示假定的商業智慧。例如，IDS對於某一組伺服器所提出的FTP匿名連線報告，要將它視為正常並忽略。對於另一組系統被政策以及防火牆所禁止的連線，則要視為重要漏洞。我們有一項工作是用來觀看被禁系統的IDS警告～我們在意的是防火牆連線記錄檔、FTP網路流量以及IP位址。一項規則配合一項警訊，但任何可能的警告都會被觸 發。
ArcSight提供了最佳的資料分析工具。該產品附有大約100項關聯與分析規則，可當作實用的範例。ArcSight是唯一能夠成功地處理我們最困難的測試的SIM，該項測試是要追蹤DSL線路的重複連線與斷線，來找出被蠕蟲攻擊的站台。
Network Intelligence也提供了強大的工具來建立商業智慧規則。它善長抓取事件資料，並將其存放進每一個應用程式專用的資料庫中。但在我們測試的版本（2.0）中，你無法確實地存取資料。舉例而言，這也就是說儘管該產品從你的弱點評估系統中學到某個系統有多重要，當你在撰寫你的關聯規則時，你也無法使用到所有的資料。 Network Intelligence將其目標放在下一個版本～會在10月發行，但在我們在測試期間並無法取得（下個版本將大幅改善其分析與警訊的能力）。
Protego的MARS是一套具有野心但卻有缺陷的SIM。我們受夠了它的臭蟲以及設計不良的圖形介面。它內建的關聯規則真的很強大，但是使用者卻看不到。這意謂著你無法利用Protego自己的商業智慧來建立新的規則。
Protego要追求的不只是簡單的接收並分析記錄檔以及建立警訊。它具有常態性的對應功能、可藉由流量的探測及追蹤，正確指出網路的拓樸與架構，並且能處理自己的漏洞分析。但它內建的弱點評估工具會造成一些設備當機，而且會影響WAN連線的流量；它的對應功能只限於特定的系統，而且只能找到少量的網路拓樸。（OpenService也有相似的功能，可圖形化地顯示互動的攻擊拓樸，但在我們特定的網路上也幾乎沒有什麼用。） OpenService宣稱它們的架構是「無規則」的。但它確實有九項基本規則類型。你不能建立自己的規則，只能設定他們提供的規則的寬限值。我們收到了許多關於一些未執行程式的訊息，而且是未將問題釐清的高度警告。它在過濾我們IDS的大量資料上也做的很差。它是我們測試的SIM當中，警示功能以及分析結果最差的產品。
NetIQ的長處在於分析以及警示主機上的事件，而我們也真的被它成千上萬的Windows規則與動作打敗。然而，它的關聯與規則撰寫能力不太適合用於網路資訊的分析上。
鑑識與報表
有時你會想利用特定的訊息或報表來彙整你的網路上的設備資訊。SIM可以在單一的虛擬平台上提供安全情報，但是我們發現每項產品強調不同的重點。雖然每個SIM都報表功能都能順利的達成，但鑑識功能卻有天壤之別。 讓我們釐清什麼是鑑識工具——鑑識工具會細切資訊，以便找出更深層的情資。這種功能可讓使用者處理關聯資料，並往下發掘（drill down）以進行快速總覽。
OpenService在這方面剛好可以跟它在分析上的差勁表現互補。它強大的檢視以及總覽功能，可對安全資料進行更深層的分析。同樣地，NetIQ在展現安全資料以及進一步深層瀏覽上，表視極為優異。 ArcSight的儀表板與頻道功能可讓資料以炫爛的方式呈現。不幸的是，往下發掘的功能並不強，因此這種漂亮的儀表板與頻道，並無益於互動地解決問題。
Network Intelligence的Log Smart Viewer設計的不錯，但在往下發掘以及總覽資料上還是遇到相同的問題。使用者可以使用資料庫查詢工具，但是要在80個分類好的資料表中進行正確的查詢也有夠累人了。 Protego的報表與鑑識功能雖然不錯，經過我們一週評鑑下來，卻被糟糕的效能所抵消了。當系統填入資料時，報表速度變得無法令人忍受，即使我們只是載入不到百分之一的測試資料也一樣。
我們並未特別測試效能，我們將注意力放在SIM的產品功能上。而且，各種效能對不同的企業都有不同的意義，比較上較為困難。除此之外，我們也觀察到讓一些我們疑慮的有趣現象。
在我們的網路上，我們每秒只產生約50筆事件；這些產品大都宣稱它們能夠處理每秒上千個事件。即使在我們最保守的等級中，Protego等產品還是遇到了嚴重的效能問題。例如，我們試著在倒資料時使用OpenService的調校介面，螢幕看起來要四分鐘才會變更一次。我們發現即使是相當保守的資料載入，並且利用雙CPU的系統來執行（一個給資料庫，一個給manager使用），ArcSight的Manager仍需拖到一分鐘以上才會更新螢幕。
我們的經驗發現這三家廠商所提供的效能數據都是有問題的。或是表示這些系統在沒有為環境或效能進行特別調校的情況下，速度會上不來。另一方面，Network Intelligence以及NetIQ的鑑識與報表功能，各在一台雙CPU系統執行的情況下，結果都能瞬間反應。
儲存與封存
隨著定期備份記錄的需求的提升，SIM也將儲存與封存功能視為其產品的一部份了。
NetIQ與ArcSight都能夠直接整合企業的SQL資料倉儲與封存，透過管理主控台或SQL查詢工具，直覺地存取資料。
Network Intelligence包含了資料倉儲等功能，可在管理主控台之外觀看資料，但它並不保留下架資料庫中的資訊。然而，Network Intelligence可讓你輕易地從它專用格式的資料倉儲中抓取想要的資料，並依定期或鑑識用途進行封存。
Protego以及OpenService可將資料存進SQL資料庫，但只能保留數日的資訊。例如，OpenService會完全清除30天前的資料，因而無法進行長期的趨勢分析。
符合你的預期
安全資訊管理系統是昂貴、得花時間安裝，且難以客製化的。若要成功地部署，可能需要數日或數週的原廠專業協助才能完成。 如果你只是在找一個地方來存放你所有的資料並產生報表，這些產品全都符合你的需求。然而，SIM的長處是在告訴你在你的網路上，有哪些你該知道而並不知道（而且通常必須採取行動）的事情。在這情況下，你想要如何使用SIM就會強烈影響你的選擇了。
如果你的主要興趣，是主動地保護你的Windows系統，那麼NetIQ便能勝任這項工作。
同樣地，如果你正尋找一項能夠提供關聯，且具有強大報表與鑑識功能的工具，請考慮OpenService。 到目前為止，Protego的MARS很難被推薦。它高雅的工具全為非常特定的網路環境而設計，而且含臭蟲的GUI以及差勁的效態，更造成它的缺陷。如果臭蟲都被除完的話，Protego還是值得注意的產品。
Network Intelligence以及ArcSight是我們測試過最耐操的SIM產品。雖然Network Intelligence有自己的優點與長處，但ArcSight還是明顯地比較成熟，且功能上較為完整。 在考量這些成本高且複雜的工具時，還有另外一個附加因素。就核心而言，SIM強過IDS以及記錄檔的「超級主控台」，它可以結合並關聯警訊，並藉由政策是否違反的觀點，來試著管理並調整安全性的優先權。
然而，你可以使用這些工具來進一步觀察網路效能及穩定性。例如，我們的防火牆流量記錄中的資料，會顯示出網路用量最大的發訊者及接收者。除了資訊本身之外，而包含了藉由查閱所有記錄檔所得到的利益。
對於具有Windows代理程式的SIM也是一樣。除了收集事件記錄檔之外，這些產品還可以進行所有的庫存與狀態檢查。當Windows系統的磁碟滿了時，如果有個Windows代理程式回報了重大狀況，而SIM也送出了警訊，那麼這算是安全問題還是系統管理問題？ 企業購買了這樣價位SIM產品，就有權利期待它們送出的不只是安全警訊而已。如果我們無法將我們所有的記錄檔塞到產品裡頭，那麼它就應該聰明到去檢視整個記錄檔的資料，並歸納出不只是與安全直接相關的結論。我們認為成功的之產品，大都應該要能善用它們收集出的資料，並為整個網路及安全團隊帶來最大的助益。
JOEL SNYDER（joel.snyder@opus1.com）是Opus One IT顧問公司的資深股東，也是Information Security Test Alliance的成員之一。