GPU 算力伺服器常見故障解析：掉卡、未識別與 TRAY 板問題
隨著 H100、H200、H800 等資料中心級算力伺服器大量部署，相關故障處置需求快速增加。這類設備單機價值高、供貨週期長，且故障表現常有重疊，診斷方法尤其重要。
一、常見故障表現
- GPU 未識別：系統或帶外管理看不到全部 GPU
- 掉卡：運行中 GPU 消失，業務中斷
- 亮燈不讀卡：TRAY 板指示燈正常，但無法讀取 GPU
- 開機自檢失敗：POST 階段報 GPU 或 PCIe 相關錯誤
- 頻繁降頻或運算錯誤：能識別但效能異常或計算結果錯誤
二、故障可能落在哪一層
同一種表現，根因可能完全不同：
| 故障層級 | 可能原因 |
|---|---|
| GPU 模組 | 晶片本體、HBM 記憶體、供電模組失效 |
| TRAY 板 | 板上供電、訊號走線、連接器接觸不良 |
| PCIe Switch | 交換晶片功能模組失效、韌體異常 |
| 高速互連 | NVLink／NVSwitch 鏈路異常 |
| 供電與散熱 | 電源模組輸出異常、散熱不足導致降頻 |
特別說明：在 SXM 架構中，多顆 GPU 透過 TRAY 板與 PCIe Switch 互連。因此「GPU 未識別」並不代表 GPU 壞了——很多案例最終定位在 TRAY 板或 PCIe Switch 晶片。
三、診斷思路
1. 先讀帶外管理日誌
BMC 事件日誌通常記錄了硬體層面的首次異常時間與部件定位，是最高效的起點。重點看：GPU 在位偵測、電源、溫度、PCIe 鏈路錯誤。
2. 交叉驗證法
這是最可靠的定位手段，核心是「一次只換一個變數」：
- 把疑似故障 GPU 換到已知正常的槽位 → 故障跟著卡走 = 卡的問題
- 換到正常槽位仍故障 → 往 TRAY 板或 Switch 查
- 把正常 GPU 插到疑似故障槽位 → 仍故障 = 板或槽位的問題
- 更換 TRAY 板後恢復 → 定位在板級
3. 檢查鏈路與供電
- PCIe 鏈路寬度與速率是否協商正確（如 x16 降到 x8／x4）
- 供電電壓是否穩定，有無跌落
- 檢查高速差分對連接器有無氧化、虛焊、阻抗異常
4. 排除環境因素
- 進風口溫度是否超標導致降頻
- 風道是否被遮擋
- 機櫃供電是否滿足滿載需求
四、維修層級與決策
| 層級 | 做法 | 適用情況 |
|---|---|---|
| 整機／整卡更換 | 直接換新 | 保固期內、時間優先 |
| 板級維修 | 更換 TRAY 板、電源模組、風扇等 | 模組可獨立更換且備件可得 |
| 元件級維修 | 更換 PCIe Switch 晶片、BGA 重植、修補走線 | 停產、缺貨、成本敏感 |
為什麼元件級維修值得考慮：H100／H200 這類設備單卡成本高、原廠供貨週期長，遇到 TRAY 板或 Switch 晶片故障時，整板更換的成本與等待時間都很可觀。具備晶片級能力的服務商可以在較短週期內完成修復，對業務連續性的價值很直接。
五、給運維團隊的建議
1. 保留完整故障記錄：首次告警時間、帶外日誌、交叉驗證結果。
2. 備品策略要分層：關鍵機型建議準備 TRAY 板或整卡級備品。
3. 不要把「換好了」當成「查清了」：確認根因，否則同批設備可能重複故障。
4. 定期讀取健康數據：GPU 溫度、功耗、ECC 錯誤計數的趨勢比單次數值更有意義。
算力設備維修的核心競爭力不在零件，而在「能不能準確定位到板級與元件級」。
說明：本文為技術交流與經驗分享，實作時請以設備原廠技術資料與現場環境為準；涉及維修與變更操作，建議由具備相關經驗的工程人員執行。