SHIELD
🛡️ S.H.I.E.L.D. 
Sovereign Heuristic Intelligence & Enterprise Logic Defense (主權啟發式情資與企業邏輯防禦系統)
📋 快速導覽 (Table of Contents)
- 專案概述與願景
- S.H.I.E.L.D. 概述
- 功能實作說明
- 開始使用
一個專為高度監管產業（如金融、政府、半導體）量身打造的 「新世代主動資安防禦與 AI 治理中樞」。
【背景與痛點】
金融、政府等高度監管產業亟需導入「主權 AI」，卻面臨雙重危機：對外易遭駭客以「提示詞注入」竊取機密；對內則有 RAG 幻覺與黑箱決策等治理盲點，難以通過嚴格的法規與內部稽核。
【解決方案與核心技術】
我們開發 100％ 地端部署的 SHIELD，為企業打造專屬的防禦與治理中樞，具備四大核心：
全網威脅狩獵：整合明暗網探針，247 自動過濾雜訊、淬鍊高價值威脅情報。
主權圖譜連鎖推導 （Sovereign GraphRAG）：將企業 IT 拓樸與資安 SOP 建構為知識圖譜。捕獲外部威脅時，於地端瞬間碰撞推演連鎖受災範圍，達成零外洩的精準預警。
AI 動態自主免疫：利用多代理人構建紅藍隊攻防迴圈。紅隊突變提示詞進行攻擊，藍隊即時提取特徵並自動生成防禦護欄腳本，實現「攻破即修補」。
可信賴 AI 治理：量化評估檢索品質以杜絕幻覺，並記錄完整推論軌跡，確保決策 100％ 透明可究責。
【產業效益】
系統導入知識蒸餾與模型量化等「Edge AI 輕量化」技術，將延遲降至毫秒級並大幅降低企業硬體成本。SHIELD 不僅解決 SOC 警報疲勞，更提供關鍵的合規價值，助企業打消疑慮、順利通過稽核，安全擁抱主權 AI 時代。
Enterprise Sovereign AI Foundry (企業主權 AI 鑄造廠)
Your Private Cloud, Your Proprietary Brain, Your Digital Workforce (從算力基建到數位員工的一站式轉型服務)
通用 AI 無法滿足企業級的剛性需求 (企業不只需要 Chatbot，更需要具備「主權」 的數位勞動力)
- 通用公有雲 AI (Public Generic AI)
- 痛點：數據隱私風險，模型是「通才」但不懂行業黑話
- 結果：像是一個不懂公司規矩的大學生，雖聰明但難以控管
- 企業主權 AI (Enterprise Sovereign AI)
- 優勢：數據完全私有化，模型經由微調懂企業術語
- 結果：像是一位熟讀 SOP 的資深員工，精準且合規
Clean (乾淨)、Smart (聰明)、Lean (精實)、Safe (放心)
- Good Data，數據煉油，去蕪存菁，AI Ready
- Right Models，御用微調，打造專家
- Efficient Systems，蒸餾濃縮，落地生根
- Trusted AI，護欄確信，合規安全，AI-Govs
端到端的企業主權 AI(Enterprise Sovereign AI)
- 模組 一：Infrastructure Brokerage (基礎設施顧問)，The Factory (地基)
- 提供底層的硬體和資源支持。代表著建立和管理整個 AI 系統所需的算力、存儲和網絡等基礎設施，是系統的「工廠」和「地基」
- 模組 二：Data Refinery (數據精煉服務)，The Fuel (燃料)
- 負責數據的加工處理。象徵著對原始數據進行清洗、提煉和轉化，將其變為驅動 AI 模型訓練和運作的高品質「燃料」
- 模組 三：Vertical Model Foundry (模型代工服務)，The Brain (大腦)
- 系統的核心智慧所在。負責為特定行業或領域訓練、客製化和部署專屬的 AI 模型，進行決策和理解
- 模組 四：Agentic Al Foundry (數位員工代工)，The Hands (手脚)
- 負責執行層面的任務。象徵著 AI 作為「手腳」來自動化處理具體工作、執行流程和與系統進行互動
- Step 1. Clean (乾淨)：自動化清洗，將80%的垃圾數據轉化黃金
- Step 2. Smart (微調)：全模態微調技術，打造懂法規、懂製程的企業大腦
- Step 3. Lean (蒸餾)： Train Big，Run Small；省下 70% 硬體持有成本
- Step 4. Safe (信任確信)：導入邏輯層護欄與紅隊演練，確保合規
📖 S.H.I.E.L.D. 專案概述 (Overview)
企業主權 AI (Sovereign AI) 透過微調與蒸餾，吸收了企業最機敏的內部架構、合規 SOP、原始碼與拓樸架構，它是企業最強大的『私有數位大腦』；然而，這也讓它成為駭客眼中最具價值的攻擊目標；傳統的網路層防禦，根本無法保護語意與邏輯層面的認知攻擊。因此，基於企業主權 AI (Sovereign AI)架構下的終極主動防禦中樞 S.H.I.E.L.D.，將明網/暗網的全網威脅情資 (CTI) 探勘，與內部地端知識圖譜、深度融合，是專為這顆大腦量身打造的『認知免疫系統』；我們反轉了傳統的被動防禦：利用主權 AI 自身的算力主動出擊，深入暗網狩獵潛在威脅。當捕獲外部威脅情報時，系統會在實體斷網的封閉環境內，將外部威脅情報與內部的「防禦知識圖譜 (Knowledge Graph / Ontology)」進行連鎖關聯推導。就像把線索丟入骨牌陣中，AI 能瞬間推算出這個外部威脅會牽連內部哪台伺服器、違反哪條 SOP，達成「零資料外洩」的精準預警。同時，為防止地端 AI 被內部帳號「套話」，S.H.I.E.L.D. 具備「自主攻防護欄」功能，透過的紅隊 AI 會不斷嘗試變異提示詞來攻擊自身系統；一旦攻破，藍隊 AI 便立刻提取特徵，自主撰寫 防禦腳本進行修補。S.H.I.E.L.D. 不只是一個資安工具，而是賦予了主權 AI 察覺外部威脅、保護內部機密與自我修補的真實生命力，為企業建構了無懈可擊的主動式資安護城河。本系統顛覆了傳統威脅情資 (CTI) 僅能被動阻擋的限制，完美融合了 「全網威脅狩獵 (Dark Web OSINT)」 與 「地端知識圖譜 (Enterprise Knowledge Graph / Ontology)」，瞬間推演受災範圍與合規衝擊，達成零資料外洩的精準預警。
一、 創意發想背景及概述
在生成式 AI (GenAI) 浪潮下，金融、政府與半導體等高度監管產業極需 AI 轉型，但無法承受將內部機敏拓樸、營業秘密與合規 SOP 上傳至公有雲的風險。因此，打造企業專屬的 Private Cloud 與 Proprietary Brain，已成為不可逆的趨勢。
然而，當主權 AI 透過微調吸收了企業所有的機密邏輯後，這顆「無所不知的私有大腦」面臨著雙重危機：
- 對外： 淪為駭客利用「提示詞注入 (Prompt Injection)」竊取機密的終極目標。
- 對內： AI 的「黑箱決策」、「隱性偏見」與「RAG 幻覺」是通過內部稽核與法規監管的致命傷。
為此，我們開發了 S.H.I.E.L.D.。專為「企業主權 AI」量身打造，利用強大算力向外跨足明暗網狩獵威脅，向內進行深度連鎖關聯推理，賦予企業 AI 察覺威脅、保護機密與自我修復的強韌生命力。
二、 作品功能簡介及特色
S.H.I.E.L.D. 具備顛覆傳統資安被動防禦思維的三大核心特色：
- 跨越明暗網的全網威脅狩獵 (Omni-Source Threat Hunting) 整合明網 AI 爬蟲與暗網洋蔥探針，24/7 自主潛伏於全球駭客論壇與勒索軟體洩漏網站；透過大語言模型過濾海量雜訊，淬鍊高價值威脅情報。
- 主權圖譜的連鎖關聯推導 (Sovereign Graph Collision) 在「地下金庫」般的斷網環境中，將企業機敏 IT 資產與資安 SOP 建構為防禦知識圖譜。捕獲外部威脅時，在地端進行「圖譜碰撞」，瞬間推演連鎖反應，達成零資料外洩的精準受災預警。
- AI 動態自主對抗免疫 (Autonomous Adversarial Immunity) 由多代理人 (Multi-Agent) 構成的紅藍隊攻防迴圈：
- 紅隊： 不斷突變惡意提示詞 (Prompt Fuzzing) 攻擊地端系統。
- 藍隊： 一旦防線遭突破，立即提取攻擊特徵，自主撰寫防禦護欄腳本，實現「攻破即修補」。
- 全景觀測與可信賴 AI 治理 (Trustworthy AI Governance)
整合 AI 稽核引擎，針對模型公平性與漏洞進行紅隊掃描；針對 RAG 品質進行忠實度與精準度量化 (杜絕幻覺)，確保所有產出具備 100% 可解釋性。
- 透明性 (Transparency)：「讓黑箱變成玻璃箱」；系統有沒有偷偷做事？使用者問了 A，系統背後到底拿了哪些資料去組裝 Prompt？把每一次對話的輸入、檢索到的文件 (Context)、耗時、Token 消耗，全部記錄 (Tracing)。
- 可解釋性 (Explainability)：「給出決策的理由」；當使用者問「你憑什麼給出這個答案」時，系統能給出證據。當 AI 說「這份標案不合規」時，必須標示出「AI 是基於資料庫裡的文檔 X 做出的回答，而不是自己幻想的。」
- 公平性 (Fairness)：「一視同仁，沒有偏見」；不能因為申請人的性別、年齡或企業規模，而在沒有法規依據的情況下給出較差的評分。透過統計學與紅隊測試，掃描模型在不同群體上的「通過率」是否有異常落差。
- 人類自主 (Human in the loop)：「關鍵決策，必須由人類批准」；寫好對外報價單或法律裁定草案，但寄出或生效前，必須由人類點擊「Approve」。工作流中設定「中斷點 (Breakpoints)」，跑到一半會暫停，等待人類確認後才繼續。
- 問責機制 (Accountability)：「出事了，找誰算帳？」；證明系統出錯不是因為設計不良，而是模型極限，且我們有完整的稽核軌跡。把「在什麼時間、用什麼權限、觸發哪個 AI 節點、被誰審核通過」打包成不可篡改的日誌。
三、 開發工具與技術
1. 核心開發工具
| 類別 | 使用技術/工具 |
|---|---|
| 主權推論與護欄 | vLLM / Ollama (部署開源 LLM)、NVIDIA NeMo Guardrails |
| 代理人與圖譜運算 | LangGraph (紅藍隊狀態機)、NetworkX / Neo4j (知識圖譜) |
| 治理與品質檢測 | Langfuse: 追蹤生命週期軌跡；Ragas: 量化評估 RAG 品質 |
| 暗網與情資探勘 | Tor 代理、Playwright (無頭瀏覽器) |
2. 技術獨特性與差異化
- 從 RAG 演進至 Sovereign GraphRAG： 採用圖論引擎進行立體映射，在地端讀取內部拓樸，建立公有雲無法跨越的絕對護城河。
- 從靜態規則演進至動態 Fuzzing： 以 AI 攻擊 AI，自主發現未知越獄手法並即時生成防禦腳本，將防禦升級為「主動免疫」。
- 從龐大算力演進至極致輕量 (Edge AI & Quantization)： * 採用知識蒸餾訓練專用 SLM (Small Language Model)。
- 導入 4-bit 量化 (AWQ/GGUF) 與語意路由 (Semantic Routing)。
- 大幅降低硬體 TCO (總體擁有成本) 門檻。
3. 產品迭代與擴充
- MVP 階段： 完成暗網情資擷取與企業圖譜的離線比對。
- 成長階段： 引入紅藍隊即時對抗，完善動態修補。
- 擴充階段： 封裝為「一體機 (Appliance)」，串接現有平台。
四、 使用對象及環境
- 目標對象： * 高度監管產業 SOC 團隊（金控、政府機關、國防單位）。
-
擁有核心機密之企業（晶圓代工廠、高科技製造業）。
- 軟硬體環境 (100% 地端部署)：
- 硬體： 配備高效能 GPU 之企業級伺服器。
- 網路： 支援完全隔離的內部網路環境 (Air-gapped)。
- 軟體： Linux OS、Python 3.10+、Docker 容器化環境。
五、 產業應用性
- 應用效益： 解決 SOC 團隊「警報疲勞」，縮短威脅影響範圍評估時間（從數天降至分鐘級）。
- 商業價值： 提供「安全附加價值」，協助客戶符合金管會或跨國 AI 法案稽核，加速 AI 專案簽約率。
- 社會影響力： 在國家級網路戰中，保護關鍵基礎設施 (CI)，提升國家整體數位韌性。
六、 結語
「安全、無懼地保護並使用專屬 AI」才是決勝 AI 的關鍵。
S.H.I.E.L.D. 透過向外的敏銳探勘、向內的圖譜深思，以及紅藍隊的動態免疫演化，為企業打造具備真實生命力的數位防禦中樞，引領台灣產業邁向真正安全的主權 AI 時代。
✨ 核心功能 (Core Features)
🕸️ Phase 1: 企業防禦本體建置 (Ontology Graph)
- 地端資料融合：安全匯入企業內部的 IT 資產盤點表 (CSV) 與資安合規政策 SOP (JSON)。
- 立體圖譜推導：透過
NetworkX與PyVis，將冷冰冰的報表轉化為具備拓樸關係的互動式大腦，清晰標示出人員、伺服器、運行軟體與法規之間的立體依賴關係。
🕵️♂️ Phase 2: 暗網威脅狩獵 (Dark Web Hunting)
- 雙棲數位探針：內建基於 Tor 代理的爬蟲引擎，24/7 潛伏於 Ahmia, Kaizer, Tor66 等 16 個暗網搜尋引擎與論壇。
- LLM 意圖萃取：自動將駭客論壇的黑話、漏洞兜售貼文，透過 LLM (支援 Gemini, OpenAI, Claude, Ollama, Llama.cpp) 提煉出標準化的「威脅實體 (Threat Entities)」。
- 🎭 雙軌運行模式：
- 真實暗網探針：真槍實彈連線 Tor 網路進行 OSINT 爬取。
- 展示劇本模式 (Demo-Safe)：內建完美的高威脅模擬劇本，確保在無網路或暗網死檔的情況下，仍能順利進行火力展示。
💥 Phase 3: 主權圖譜連鎖推導 (Sovereign Graph Collision)
- 動態連鎖推演 (Blast Radius)：將 Phase 2 抓到的外部威脅實體（如特定軟體 0-day 漏洞），直接注入地端圖譜中進行推導。
- 精準預警生成：演算法自動向上追蹤「受駭機器的負責人」，向下追蹤「違反的資安法規」，並生成極具實戰感的紅色終端機警報，解決 SOC 團隊的警報疲勞。
🩺 系統健康度監測 (Health Checks)
- 內建即時監控面板，一鍵測試 LLM API 連線狀態、Tor SOCKS5 代理器存活度，以及 16 大暗網搜尋引擎的 Ping 延遲。
🛠️ 技術堆疊 (Tech Stack)
- 前端與視覺化：
Streamlit,PyVis - 圖論與邏輯運算：
NetworkX,Pandas - AI 推論與萃取：
LangChain,Google GenAI (Gemini-2.5-flash)(可無縫切換本機端Ollama實現 100% 離線) - 暗網爬蟲引擎：
Tor (SOCKS5),BeautifulSoup4,Requests(整合自 Robin OSINT)
🚀 安裝與環境設定
1. 安裝 Tor 服務
系統依賴 Tor 來存取 .onion 網站，請確保您的系統已安裝並在背景執行 Tor (預設監聽 127.0.0.1:9050)。
- Ubuntu/Debian:
sudo apt install tor && sudo systemctl start tor - MacOS:
brew install tor && brew services start tor - Windows (WSL): 建議於 WSL 環境下使用
sudo apt install tor。
2. 安裝 Python 依賴套件
請確認您的 Python 版本為 3.10+。
git clone https://github.com/Deep-Learning-101/SHIELD.git
cd SHIELD
pip install -r requirements.txt
3. 環境變數設定
請在專案根目錄建立 .env 檔案，並填寫您選用的 LLM API Key (以 Gemini 為例)：
GOOGLE_API_KEY=your_google_gemini_api_key
# 若您想使用 OpenAI 或本地端 Ollama，可額外設定：
# OPENAI_API_KEY=your_openai_api_key
# OLLAMA_BASE_URL=http://127.0.0.1:11434
🕹️ 系統操作指南 (Usage)
- 啟動 S.H.I.E.L.D. 儀表板
python -m streamlit run app.py --server.port 8000 --server.address 0.0.0.0 -
Phase 1 操作： 開啟瀏覽器進入
http://localhost:8000。於左側邊欄選擇「快速載入內建測試情境 (TEST0310)」，系統將自動渲染您的企業防禦圖譜。 - Phase 2 & 3 操作：
切換至「🕵️♂️ 暗網狩獵與圖譜碰撞」頁籤。
- 輸入關鍵字（例如：
Apache 2.4.49 exploit）。 - 若為實戰演練，點擊「🚀 真實暗網探針」；若為簡報展示，點擊「🎭 載入展示劇本」。
- 點擊下方的「🚨 啟動 AI 提煉與圖譜碰撞分析」，觀看系統推導出的受災連鎖反應日誌。
- 輸入關鍵字（例如：
📂 資料夾結構 (Directory Structure)
SHIELD/
├── app.py # 核心 Streamlit 儀表板與整合邏輯
├── search.py # 暗網搜尋引擎介接模組 (Tor)
├── scrape.py # 洋蔥網頁內文爬蟲模組
├── llm.py # LLM 意圖萃取與繁體中文情資總結
├── llm_utils.py # LLM 提供商 (Cloud/Local) 路由與設定
├── health.py # 系統健康度 (Tor/LLM) 檢測腳本
├── config.py # 環境變數載入
├── requirements.txt # Python 套件依賴清單
├── .env.example # 環境變數範例檔
└── data/ # 地端機敏資料庫
├── TEST0310_assets.csv # 企業 IT 資產盤點表範例
└── TEST0310_compliance.json # 企業資安合規 SOP 範例
⚠️ 免責聲明 (Disclaimer)
本專案開發之暗網探勘工具 (Phase 2) 僅供教育、學術研究與合法之網路安全防禦目的使用。存取部分暗網內容可能涉及您所在司法管轄區之法律規範。作者與貢獻者對於任何人不當使用本工具所造成之任何直接或間接損失、法律責任，概不負責。請務必在遵守相關法律與企業授權政策的前提下執行威脅狩獵。