增量更新 + 實體去重

要解決的兩個問題

1. 每次重跑都全部重做：graphify extract 每次執行都從零重建整張圖——不管改了什麼都把全部檔案重新送 LLM。對一個每天更新的 1000 檔 markdown 語料，這很貴。
2. 同實體不同名字：LLM 抽取是分塊進行，同一個真實概念在不同 chunk 可能得到不同 label（AuthManager、AuthenticationManager、auth_mgr）。除了精確字串正規化外，沒有語意去重。

新 Pipeline（每次 graphify extract）

detect (full or incremental, auto-detected)
    ↓
AST extract (code files, AST cache-aware)
    ↓
Semantic LLM extract (doc/paper/image files, semantic cache-aware)
    ↓
build_merge (merge into existing graph, prune deleted nodes)
    ↓
deduplicate_entities (normalize → entropy gate → MinHash/LSH → Jaro-Winkler → community boost → optional LLM)
    ↓
cluster (full graph, always re-run)
    ↓
score_all + god_nodes + surprising_connections
    ↓
write graph.json + .graphify_analysis.json + manifest.json

功能一：增量更新（Incremental Updates）

自動偵測

graphify-out/manifest.json + graphify-out/graph.json 都存在 → 進入增量模式。不需要任何 flag。第一次跑永遠是全量。

增量模式做了什麼

• detect_incremental(target) 取代 detect(target)，回傳 new_files、unchanged_files、deleted_files。
• 只有 new_files 走 AST + LLM 抽取。
• build_merge(new_chunks, prune_sources=deleted_files) 取代 build_from_json——併入既有圖、把已刪檔案的節點剪掉。
• manifest.json 只在成功完成後寫入（中途當機不會弄壞下次的 diff）。

Semantic cache（全量與增量都適用）

• 呼叫 LLM 前：check_semantic_cache(files) 切成 (cached_results, uncached_files)。
• 只有 uncached_files 送 extract_corpus_parallel。
• 呼叫後：save_semantic_cache(fresh_results)，以內容雜湊為 key。
• 檔案改名：cached result 的 source_file 更新到新路徑（與既有 AST cache 同模式）。

[graphify extract] incremental: 20 changed, 980 cached, 2 deleted
[graphify extract] graph: 4,821 nodes, 12,304 edges, 43 communities
[graphify extract] tokens: 18,432 in / 6,201 out, est. cost: $0.08

改動範圍：graphify/__main__.py 的 elif cmd == "extract": 區塊約 5 處。

功能二：實體去重（Entity Deduplication）

新模組 graphify/dedup.py，單一職責，從 build.py 在建圖後呼叫，回傳去重後的 (nodes, edges)。七個步驟：

整合點

去重在 build_merge/build_from_json 之後、cluster 之前執行。順序很重要：圖越乾淨，社群偵測越好。

# in build.py
G = build_merge(...)          # or build_from_json
G = deduplicate_entities(G)   # new step
communities = cluster(G)      # unchanged

新相依套件

• datasketch — 必裝（加入 [project.dependencies]）
• rapidfuzz — 必裝（加入 [project.dependencies]）
• 不需要 sentence-transformers / PyTorch

測試計劃

• 去重每個步驟的獨立單元測試（tests/test_dedup.py）。
• 整合測試：兩個 label 重疊的 chunk → 輸出圖中單一合併節點。
• 增量測試：跑兩次 extract，第二次對未變檔案零 LLM 呼叫。
• 改名測試：改名檔案 → cache hit 且 source_file 正確更新。
• 刪除測試：刪檔案 → 節點從圖中剪除。

Non-goals（刻意不做）

• --dedup embed（MiniLM cosine）——明確排除，不引入 PyTorch 相依。
• 增量支援 graphify update（AST-only）——既有 AST cache 已處理。
• 跨 graph.json 去重（合併兩張圖）——獨立功能。