SHIELD

🛡️S.H.I.E.L.D. @ Deep Learning 101 License: AGPL v3

Sovereign Heuristic Intelligence & Enterprise Logic Defense (主權啟發式情資與企業邏輯防禦系統)
🎵 不聽可惜的 NotebookLM Podcast @ Google 🎵

TonTon H.-D. Huang Ph.D.

📋 快速導覽 (Table of Contents)

Enterprise Sovereign AI Foundry (企業主權 AI 鑄造廠)

Your Private Cloud, Your Proprietary Brain, Your Digital Workforce (從算力基建到數位員工的一站式轉型服務)

SHIELD Architecture SHIELD Architecture

通用 AI 無法滿足企業的剛性需求：企業需要的不是單純的 Chatbot，而是具備『絕對主權』的數位勞動力。

SHIELD Architecture

四大端到端鑄造模組：打造專屬 AI 生態系 (Four End-to-End Foundry Modules)

SHIELD Architecture SHIELD Architecture

SHIELD Architecture SHIELD Architecture

核心設計理念：Clean (乾淨)、Smart (聰明)、Lean (精實)、Safe (放心)

SHIELD Architecture

SHIELD Architecture SHIELD Architecture

SHIELD Architecture SHIELD Architecture

📖「Sovereign Heuristic Intelligence & Enterprise Logic Defense (S.H.I.E.L.D.) 」

主權啟發式情資與企業邏輯防禦系統 專案概述 (Overview)

SHIELD Architecture

SHIELD logo SHIELD Architecture

創意發想背景及概述：從對話框到數位勞動力

在短短不到兩年的時間裡，企業 AI 的應用典範已經歷了三次劇烈的底層革命。S.H.I.E.L.D. 的誕生，正是為了解決前兩個世代的致命缺陷，並定義第三世代的企業安全標準：

SHIELD Architecture

SHIELD Architecture

【S.H.I.E.L.D. 的誕生與雙重防禦危機】

在上述 Gen 3 的演進下，金融、政府與半導體等高度監管產業極需 AI 轉型，但無法承受將內部機敏拓樸、營業秘密上傳至公有雲的風險。因此，打造企業專屬的 Private Cloud 與 Proprietary Brain (主權大腦) 已成為不可逆的趨勢。

然而，當主權 AI 透過微調吸收了企業所有的機密邏輯後，這顆「無所不知的私有大腦」立刻面臨著雙重危機：

為此，我們開發了 S.H.I.E.L.D.。專為「企業主權 AI」量身打造，利用強大算力向外跨足明暗網狩獵威脅，向內進行深度連鎖關聯推理（融合 Vectorless RAG 與圖譜引擎），並結合 ChatOps 授權機制，賦予企業 AI 察覺威脅、保護機密與自我修復的強韌生命力。

功能簡介及特色

SHIELD Architecture

SHIELD Architecture SHIELD Architecture

S.H.I.E.L.D. 具備顛覆傳統資安被動防禦思維的核心特色，為企業主權大腦建構了四大主動免疫機制：

⚔️ 外層防禦：主動免疫機制與運行階段展示 (物理與網路的護城河)： 阻擋「傳統駭客攻擊」，不讓威脅碰觸到企業網路。

👉 核心目標：禦敵於國門之外，縮減 0-day 漏洞的空窗期。

作為 S.H.I.E.L.D. 向外打擊與防堵的利器，上述的核心防禦機制具體化為四個動態運行階段 (Phases)，結合完善的健康度監測，構築了堅不可摧的企業外圍防護網：

SHIELD Architecture Phase1-1 SHIELD Architecture Phase1-2 SHIELD Architecture Phase1-3

SHIELD Architecture Phase2 SHIELD Architecture Vectorless-1 SHIELD Architecture Vectorless-2

SHIELD Architecture Phase3-1 SHIELD Architecture Phase3-2 SHIELD Architecture Phase3-3

SHIELD Multica Architecture SHIELD Multica Architecture

SHIELD Flow

🧠 內層防禦：雙腦架構與企業級可信賴 AI 治理 (認知與語意的貼身保鑣： 阻擋「AI 提示詞攻擊與系統幻覺」，不讓 AI 大腦被騙或做錯決定。)

👉 核心目標：防堵提示詞注入、越獄騙局與 AI 幻覺，並產出符合 ISO 42001 的獨立驗證報告。

在外部的威脅狩獵與網路熱修補 (Phase 1~3) 之外，針對「企業 AI 大腦本身」的語意安全與合規性，S.H.I.E.L.D. 導入了核心的微調技術 (Fine-Tuning) 與邏輯層護欄 (Guardrails)，並嚴格落實 企業級 AI 標竿分析與負責任 AI 治理建議：

SHIELD Architecture SHIELD Architecture

🤖 Phase 5: 全自動 AI 治理與合規審計工作流 (Automated Assurance Pipeline)

透過內建此機制，我們完美落實了透明性、可解釋性 (透過 SHAP 特徵歸因)、公平性與問責機制。

SHIELD Architecture SHIELD Architecture

📊 內外防禦一覽表

S.H.I.E.L.D. 的外層防禦，負責把駭客與病毒擋在網路邊界之外；而內層防禦，則是為企業的 AI 大腦穿上防彈衣，確保它吐出的每一句話都安全、聰明且絕對合規。

比較維度 ⚔️ 外層防禦 (Outer Defense) 🧠 內層防禦 (Inner Defense)
防禦目標 企業基礎設施 (伺服器、網路)、IT 資產 企業主權 AI 大腦本身、數據決策邏輯
對抗威脅 0-day 漏洞、惡意軟體、進階持續性威脅 (APT)、已知駭客攻擊 (PoC) 提示詞注入 (Prompt Injection)、越獄騙局、AI 幻覺
運作機制 向外狩獵 (暗網) ➔ 雙引擎檢索推演 ➔ 網路層熱修補 向內微調 (SOP) ➔ 護欄審核 ➔ 紅藍隊攻防演練
防護領域 傳統資訊安全 (Cybersecurity) AI 安全與治理 (AI Safety & Governance)
白話比喻 具備雷達的城牆防禦系統，精準推演敵軍路徑並自動發射攔截導彈 國王身邊的貼身侍衛與最高檢察官，防止國王被奸臣洗腦或做出違憲決策

開發工具與技術

1. 核心開發工具

應用領域 / 功能 核心工具與套件 說明與效益
企業大腦微調與部署 Unsloth / vLLM / Ollama 極速微調企業專屬業務模型，並於地端叢集高效推論，確保資料不落地。
AI 推論與萃取 Google GenAI
(Gemini-2.5-flash)		 提供強大推論能力，並可無縫切換本機端 Ollama 實現 100% 離線推論。
AI 數據精煉與合成
(Data Refinery)		 PageIndex / OpenDataLoader-PDF / NVIDIA NeMo Retriever / NVIDIA NeMo Data Designer 突破 PDF 解析極限，並結合 NeMo 工具鏈自動化生成高保真合成數據，為大腦提供純淨微調燃料。
自動化與圖譜運算
(GraphRAG Engine)		 Streamlit / NetworkX / PyVis 互動式威脅拓樸渲染與連鎖衝擊路徑可視化。開源版提供 CSV 匯入作 PoC 驗證，真實環境可透過 Enterprise Connectors 介接。
AI 治理與語意防火牆 NVIDIA NeMo Guardrails / Nemotron-Safety-Guard 建構可程式化的邏輯護欄，微調並部署專職裁判模型，防範提示詞注入與違規決策。
決策軌跡與紅藍對抗 LangGraph / Langfuse 建構多代理人 (Multi-Agent) 攻防狀態機，完整記錄 AI 思考日誌以落實可追責性。
暗網與情資探勘 Tor (SOCKS5 Proxy) / Headless OSINT Scraper 隱匿追蹤並深潛暗網駭客論壇，客製化萃取高價值的零時差威脅情資。
數位員工與自動化 Hermes / OpenClaw / LINE Messaging API 導入擁有近 40 萬 GitHub Stars 的頂級 Agent 框架 OpenClaw。原生整合 LINE 實現 ChatOps 授權，賦予大腦安全、受控的本機執行能力 (SSH/CLI)。
多代理人基礎設施 Multica 作為 AI 團隊的任務看板與基礎設施 (Harness)。提供安全的執行沙盒、權限範圍 (Scope) 控管與工單指派，確保 OpenClaw 的每一次行動皆有跡可循。
靜態與供應鏈聯防 DeepAudit / Protect AI / Microsoft RAMPART 掃描底層程式碼漏洞與 RAG 權限缺陷；攔截遭竄改的模型權重，落實 CI/CD 安全迴歸測試。
動態護欄與隱私 NVIDIA NeMo Guardrails / ShieldGemma 2 / Microsoft Presidio / Opacus 毫秒級雙層護欄攔截惡意越獄；即時文字 PII 動態遮罩；差異隱私數學邊界防護。
全自動審計與量化 Microsoft PyRIT / Garak / TruLens / GuardVal / IBM AIF360 構建全自動審計工作流。發動多輪漸強攻擊，並精準計算護欄防禦率與幻覺分數，自動對齊 ISO 42001 產出合規底稿。


2. 技術獨特性與差異化

核心技術亮點 獨特性與實作細節
傳統 RAG 演進至
雙引擎檢索
(Sovereign GraphRAG + Vectorless RAG)		 徹底揚棄臃腫的向量資料庫 (Vector DB)：
• 針對結構化關聯：採用圖論引擎進行立體映射推演，在地端讀取內部拓樸。
• 針對長篇機密文檔 (如 ISO/SOP)：導入 Agentic Vectorless RAG (代理人無向量目錄索引) 實現 100% 零幻覺的精準導航。
• 兩者結合，建立公有雲無法跨越的絕對護城河。
LLM 雙層防禦與
雙腦架構
(Dual-Layer & Dual-Brain Defense)		 跳脫單一模型的風險盲區，打造極致的內外防禦網：
• 對外 (網路層)：以 LLM-to-IPS 實現自動化熱修補，縮短 0-day 空窗期。
• 對內 (認知層)：導入 「Actor-Judge 雙腦架構」。由「業務大腦 (Actor)」負責深度情資推導；同時隱藏一個微調過的「護欄大腦 (Judge)」作為語意防火牆。結合紅藍隊動態 Fuzzing 持續鍛鍊護欄，將防禦升級為具備神經可塑性的「主動免疫系統」。
從龐大算力演進至
極致輕量
(Edge AI & Quantization)		 採用知識蒸餾訓練專用 SLM (Small Language Model)：
• 導入 4-bit 量化 (AWQ/GGUF) 與語意路由 (Semantic Routing)。
• 大幅降低硬體 TCO (總體擁有成本) 門檻。
底層數據解析的
典範轉移
(Data Parsing Paradigm Shift)		 捨棄傳統 1D 純文字流，邁向 2D 物理版面感知：
• 零 LLM 延遲建檔：揚棄依賴昂貴 LLM 腦補目錄的舊法。導入 OpenDataLoader，利用底層電腦視覺瞬間抽取出帶有精準座標 (Bounding Box) 的實體 JSON 目錄，建檔過程 100% 零 LLM 呼叫成本。
• 消滅表格與排版幻覺：本系統透過物理版面解析，完美識別 heading、table、picture 錨點，結合 PyMuPDF 截取原圖，確保圖文多模態資訊在建檔階段 0% 遺失。
• 絕對客觀的目錄樹 (Truthfulness)：拒絕由 AI 總結出來的虛假目錄。檢索地圖 100% 建立在原生文檔的物理字體、縮排與版面上，徹底斬斷 RAG 在檢索前期的幻覺根源。

SHIELD Architecture

使用對象及環境

產業應用性

SHIELD Architecture

系統邊界與實戰權衡 (Trade-offs & Mitigation)

在資安的真實戰場中，沒有絕對完美的架構。S.H.I.E.L.D. 為了追求「絕對的資料主權與物理斷網」，在設計上做出了明確的戰略取捨。我們誠實面對地端系統的邊界，並以硬核技術進行完美緩解：

結語

「安全、無懼地保護並使用專屬 AI」才是決勝 AI 的關鍵。

S.H.I.E.L.D. 透過向外的敏銳探勘、向內的圖譜深思，結合 「網路層即時熱修補」與「紅藍隊自主大腦演化」 的雙層免疫機制，為企業打造具備真實生命力的數位防禦中樞，引領台灣產業邁向真正安全的主權 AI 時代。

💼 企業版與專業顧問服務 (Enterprise Edition & Services)

S.H.I.E.L.D. 開源版本提供核心的防禦框架與概念驗證 (PoC) 工具。針對高度監管產業與大型企業的實戰需求，我們提供客製化的導入服務與企業版授權：

📩 商務合作與技術諮詢，請聯繫：TonTon [@] TWMAN.ORG

🔮 企業交付藍圖與未來展望 (Enterprise Roadmap)

本開源庫所展示的，為 S.H.I.E.L.D. 核心演算法之概念驗證 (PoC)，旨在證明雙引擎檢索與零信任 AI 推理之強大潛力。

在實際的企業交付中，多代理人狀態機 (Multi-Agent State Machine)、動態權限過濾 (RBAC) 以及 NeMo 邏輯護欄的熱重載機制 需深度依賴企業內部的 AD 網域與 GRC 系統。這些模組涉及高度客製化的 Data Pipeline，為企業版專屬之授權服務。

🚀 安裝與環境設定

1. 安裝 Tor 服務

系統依賴 Tor 來存取 .onion 網站，請確保您的系統已安裝並在背景執行 Tor (預設監聽 127.0.0.1:9050)。

2. 安裝 Python 依賴套件

請確認您的 Python 版本為 3.10+。

git clone https://github.com/Deep-Learning-101/SHIELD.git
cd SHIELD
pip install -r requirements.txt

3. 環境變數設定

請在專案根目錄建立 .env 檔案，並填寫您選用的 LLM API Key (以 Gemini 為例)：

GOOGLE_API_KEY=your_google_gemini_api_key

# 若您想使用 OpenAI 或本地端 Ollama，可額外設定：
# OPENAI_API_KEY=your_openai_api_key
# OLLAMA_BASE_URL=http://127.0.0.1:11434

🕹️ 系統操作指南 (Usage)

  1. 啟動 S.H.I.E.L.D. 戰情儀表板 
    python -m streamlit run app.py --server.port 8000 --server.address 0.0.0.0

  2. Phase 1 操作：防禦本體渲染 開啟瀏覽器進入 http://localhost:8000。於左側邊欄選擇「載入企業預設防禦矩陣 (Default-Matrix)」，系統將自動渲染您的企業防禦圖譜，完成資產與法規的映射。

  3. Phase 2 & Phase 3 操作：威脅推導與工單封裝 切換至「🕵️‍♂️ 暗網狩獵與圖譜碰撞」頁籤。
    • 輸入關鍵字（例如：Apache 2.4.49 exploit）。
    • 點擊「🎭 載入展示劇本」或「🚀 真實暗網探針」擷取情資。
    • 點擊「🚨 啟動 AI 提煉與圖譜碰撞分析」，觀看系統推導受災爆炸半徑。當系統精準提取法規並生成 Snort 阻擋規則後，點擊 「傳送至 Agent Harness 進行派工」，將防禦指令封裝為標準化工單。
  4. Phase 4 操作：數位員工審批與全自主修補 (ChatOps) 工單派發後，S.H.I.E.L.D. 的實體代理人 (OpenClaw) 將接管任務：
    • 您的手機 (LINE 或指定通訊軟體) 將即時收到附帶威脅上下文的授權請求。
    • 於對話框回覆 Y 進行審批放行 (Human-in-the-loop)。
    • 系統將在地端沙盒中自動完成 SSH 登入、防火牆規則掛載與服務重啟，並回報修補結案，完成零時差防禦閉環。
  5. Phase 5 操作：AI 審計與合規（🆕 可選模組） 完成 Phase 1-4 的部署後，可啟用 Phase 5: Automated Audit & Assurance (自動化審計與合規) 模組，對企業主權 AI 大腦進行全自動化的安全審計：
# 安裝 Phase 5 模組
cd modules/eval
./scripts/setup_conda_env.sh
conda activate shield-audit-env

# 配置審計目標
cp config/audit_config.example.yaml config/audit_config.yaml
vim config/audit_config.yaml

# 執行審計
./scripts/run_audit.sh

# 查看報告
cat ../../shared/data/audit_results/latest_summary.json

Phase 5 核心功能：

詳細文檔：請參閱 modules/eval/README.md

📂 資料夾結構 (Directory Structure)

SHIELD/
├── app.py                  # 核心 Streamlit 儀表板與整合邏輯
├── search.py               # 暗網搜尋引擎介接模組 (Tor)
├── scrape.py               # 洋蔥網頁內文爬蟲模組
├── llm.py                  # LLM 意圖萃取與繁體中文情資總結
├── llm_utils.py            # LLM 提供商 (Cloud/Local) 路由與設定
├── health.py               # 系統健康度 (Tor/LLM) 檢測腳本
├── config.py               # 環境變數載入
├── requirements.txt        # Python 套件依賴清單
├── .env.example            # 環境變數範例檔
└── data/                   # 地端機敏資料庫 (Air-Gapped Vault)
    ├── enterprise_assets.db      # 企業 IT 資產組態 (CMDB) 映射檔
    ├── compliance_matrix.db      # 企業資安合規邏輯矩陣 (GraphRAG 用)
    └── policies/                 # 企業機敏原始文檔區 (PageIndex 用)
        ├── ISO_27001_2022.pdf    # 長篇非結構化法規
        └── Internal_SOP.md       # 企業內部資安處置手冊

⚠️ 免責聲明 (Disclaimer)

本專案開發之暗網探勘工具 (Phase 2) 僅供教育、學術研究與合法之網路安全防禦目的使用。存取部分暗網內容可能涉及您所在司法管轄區之法律規範。作者與貢獻者對於任何人不當使用本工具所造成之任何直接或間接損失、法律責任，概不負責。請務必在遵守相關法律與企業授權政策的前提下執行威脅狩獵。

🛡️
🤖 S.H.I.E.L.D. 戰情小助手 ✖
This site is open source. Improve this page.