運維配置管理后端【免費下載鏈接】saltSoftware to automate the management and configuration of infrastructure and applications at scale.項目地址https://gitcode.com/gh_mirrors/sa/salt點擊查看免費下載導讀saltutil是 SaltStack本倉庫 salt/modules/saltutil.py中負責管理 Salt 自身的執(zhí)行模塊從文件服務器同步自定義模塊、刷新 minion 的 pillar/grains/beacons、查詢與終止正在運行的作業(yè)、清理緩存、重建密鑰甚至允許運行在 master 上的 minion 反向調用 runner、wheel 和 salt 命令。本文基于官方 API 參考文檔 doc/ref/modules/all/salt.modules.saltutil.rst該文檔通過automodule指令完整渲染本模塊的全部函數(shù)簽名與文檔字符串逐類講解其全部功能、參數(shù)語義與底層實現(xiàn)幫助你掌握用一條salt命令遠程治理 minion 自身的完整能力。說明saltutil全部函數(shù)都在 minion 側執(zhí)行部分函數(shù)要求該 minion 位于 master 之上通常通過salt target saltutil.function調用也可在 minion 本機用salt-call saltutil.function調用。模塊聲明了__proxyenabled__ [*]salt/modules/saltutil.py因此也適用于所有 proxy minion。一、自定義擴展模塊同步體系sync_*家族Salt 允許用戶在文件服務器的_modules、_states、_grains等特殊目錄中放置自定義擴展模塊saltutil.sync_*系列函數(shù)負責把這些模塊從 master 的文件服務器同步到 minion 的擴展模塊目錄并默認觸發(fā)對應的刷新動作。該文檔以 doc/ref/modules/all/salt.modules.saltutil.rst 為入口完整列出了所有同步函數(shù)。1.1 同步函數(shù)總覽函數(shù)同步源目錄默認 refresh 動作引入版本sync_modulessalt://_modules刷新執(zhí)行模塊0.10.0sync_statessalt://_states刷新執(zhí)行模塊0.10.0sync_grainssalt://_grains刷新 pillar間接刷新模塊0.10.0sync_rendererssalt://_renderers刷新執(zhí)行模塊0.10.0sync_returnerssalt://_returners刷新執(zhí)行模塊0.10.0sync_utilssalt://_utils刷新執(zhí)行模塊2014.7.0sync_beaconssalt://_beacons刷新 beacons2015.5.1sync_log_handlerssalt://_log_handlers刷新執(zhí)行模塊2015.8.0sync_pillarsalt://_pillar刷新 pillar僅 masterless minion2015.8.11, 2016.3.2sync_sdbsalt://_sdb無不觸發(fā)刷新2015.5.8, 2015.8.3sync_proxymodulessalt://_proxy刷新執(zhí)行模塊2015.8.2sync_enginessalt://_engines刷新執(zhí)行模塊2016.3.0sync_cloudssalt://_cloud刷新執(zhí)行模塊2017.7.0sync_thoriumsalt://_thorium刷新執(zhí)行模塊2018.3.0sync_matcherssalt://_matchers刷新執(zhí)行模塊2019.2.0sync_serializerssalt://_serializers刷新執(zhí)行模塊2019.2.0sync_executorssalt://_executors刷新執(zhí)行模塊3000sync_topssalt://_tops刷新環(huán)境緩存僅 masterless minion3007.0sync_wrappersalt://_wrapper刷新執(zhí)行模塊僅 masterless minion3007.0sync_output別名sync_outputterssalt://_output刷新執(zhí)行模塊—sync_resourcessalt://_resources觸發(fā)資源重新發(fā)現(xiàn)—1.2 統(tǒng)一參數(shù)語義絕大多數(shù)sync_*函數(shù)共享同一組參數(shù)以文檔字符串為準saltenv文件服務器環(huán)境fileserver environment。傳逗號分隔列表可同步多個環(huán)境例如saltenvbase,dev。若不傳則會讀取 top file 中配置的所有環(huán)境如果沒有 top file則默認同步base環(huán)境。這一邏輯由模塊內(nèi)的_get_top_file_envs()實現(xiàn)salt/modules/saltutil.py它實例化salt.state.HighState讀取 top file并將結果緩存在上下文鍵saltutil._top_file_envs源碼常量TOP_ENVS_CKEY中以避免重復解析若渲染 top file 失敗會拋出CommandExecutionError。refresh默認True同步完成后是否刷新對應資源。文檔明確說明即使沒有新模塊被同步也會執(zhí)行刷新設False可跳過。例如sync_modules的 refresh 會調用refresh_modules()sync_grains的 refresh 會調用refresh_pillar()因為 pillar 刷新內(nèi)部會完成模塊刷新。extmod_whitelist/extmod_blacklist默認None逗號分隔的模塊名單按類型限定只同步哪些或排除哪些。對于sync_all這兩個參數(shù)則是字典形式如extmod_whitelist{modules: [custom_module]}。clean_pillar_cache默認Falsesync_grains、sync_pillar、sync_all、refresh_grains獨有設為True時同時刷新 pillar 緩存。1.3 底層同步機制所有同步函數(shù)最終都匯聚到私有輔助函數(shù)_sync()salt/modules/saltutil.py它調用 salt/utils/extmods.py 中的salt.utils.extmods.sync()完成實際工作解析白名單/黑名單字符串會被按逗號拆分字典則按類型分別匹配通過fileclient.cache_dir()從salt://_form下載文件到本地緩存只匹配.py、.pyx、.so、.zip后綴對比目標文件哈希hash_type默認取自 opts有變化才覆蓋寫入并將form.relname追加到返回列表若設置了clean_dynamic_modules: Trueminion 配置項會遞歸清理擴展模塊目錄中已從文件服務器消失的文件與空目錄保持兩側嚴格一致返回(ret, touched)touched為真時_sync會在cachedir/module_refresh下創(chuàng)建一個占位文件作為需要重載模塊的信號同步 grains 時還會清除磁盤上的grains.cache.p見_clear_grains_cache()salt/modules/saltutil.py防止grains_cache開啟時讀到過期數(shù)據(jù)對應 tests/pytests/functional/modules/test_saltutil.py 中針對 issue #55667 的回歸測試。1.4 特別注意事項masterless 限制sync_pillar、sync_tops、sync_wrapper在傳統(tǒng)非 masterlessminion 上執(zhí)行會直接拋出CommandExecutionError因為__opts__[file_client] ! local。其中sync_tops在refreshTrue時還會先清除TOP_ENVS_CKEY緩存再同步salt://_tops。state 中調用必須帶 refresh文檔特別強調如果用module.runstate 調用sync_modules/sync_all由于 SLS 渲染已完成新同步的模塊在本次運行中不可見必須顯式傳refresh: Trueload_my_custom_module: module.run: - name: saltutil.sync_modules - refresh: True1.5 一鍵同步全部sync_allsync_all在一個調用里按依賴順序同步所有擴展模塊類型salt/modules/saltutil.pymasterless minion 先同步 tops因為它可能影響后續(xù)同步的環(huán)境選擇隨后依次同步 clouds、beacons、modules、states、sdb、grains、renderers、returners、output、utils、log_handlers、executors、proxymodules、engines、thorium、serializers、matchers、resourcesmasterless minion 再追加 pillar 與 wrapper。refreshTrue時最后統(tǒng)一執(zhí)行一次refresh_pillar()內(nèi)部已完成模塊刷新避免重復刷新。返回的字典以類型為鍵、以各自同步結果為值。salt * saltutil.sync_all salt * saltutil.sync_all saltenvdev salt * saltutil.sync_all saltenvbase,dev salt * saltutil.sync_all extmod_whitelist{modules: [custom_module]}1.6 查看已同步的擴展模塊list_extmodslist_extmods遍歷cachedir/extmods目錄按模塊類型分組列出所有已同步到本 minion 的外部模塊名文件去擴展名便于核對哪些擴展確實已落地salt * saltutil.list_extmods二、運行時資源刷新refresh_*家族刷新類函數(shù)不涉及文件傳輸而是向 minion 自身的事件總線發(fā)送事件讓 minion 內(nèi)部重新加載對應數(shù)據(jù)。2.1refresh_modules異步與同步兩種模式向 minion 發(fā)送module_refresh事件以重載執(zhí)行模塊與 grains。默認異步salt * saltutil.refresh_modules立即返回。如需阻塞等待刷新完成傳asyncFalse——此時函數(shù)會先掛起一個事件監(jiān)聽器再觸發(fā)攜帶notify: True的刷新事件并阻塞等待MINION_MOD_REFRESH_COMPLETE事件超時 30 秒后返回salt/modules/saltutil.py。2.2refresh_pillar發(fā)送pillar_refresh事件刷新 minion 內(nèi)存中的 pillar 數(shù)據(jù)詳見文檔引用的 pillar-in-memory 機制wait默認False設為True時阻塞等待刷新完成timeout默認30waitTrue時最多等待的秒數(shù)clean_cache默認True3005 版本新增清理 pillar 緩存僅在pillar_cache開啟時生效。salt * saltutil.refresh_pillar salt * saltutil.refresh_pillar waitTrue timeout60注意本模塊同時用pillar_refresh salt.utils.functools.alias_function(refresh_pillar, pillar_refresh)導出了別名salt/modules/saltutil.py文檔頁通過:exclude-members: pillar_refresh將別名排除在 API 列表之外避免重復展示但兩者完全等價、均可調用。2.3refresh_grains刷新 minion 的 grains但不從salt://_grains同步新模塊文檔提醒該過程會順帶重載可用執(zhí)行模塊因為 grains 可能影響模塊是否可用。參數(shù)refresh_pillar默認True設為False阻止 pillar 一并刷新clean_pillar_cache默認False設為True刷新 pillar 緩存。實現(xiàn)上先清除磁盤 grains 緩存再刷新salt/modules/saltutil.py這正是 tests/pytests/functional/modules/test_saltutil.py 所覆蓋的 #55667 回歸場景。salt * saltutil.refresh_grains2.4refresh_beacons與refresh_matchers分別發(fā)送beacons_refresh與matchers_refresh事件讓 minion 重新加載 beacon 配置與匹配器matchers定義。若事件模塊不可用如某些 proxy 場景會記錄錯誤并返回False等效于 no-opsalt * saltutil.refresh_beacons salt * saltutil.refresh_matchers2.5refresh_resources觸發(fā)resource_refresh事件minion 收到后基于當前 pillar 數(shù)據(jù)重新執(zhí)行_discover_resources()并將發(fā)現(xiàn)的資源重新注冊到 master 的minion_resources緩存中——適用于需要動態(tài)上報托管資源的場景通常與sync_resources配合后者同步salt://_resources自定義資源模塊后自動觸發(fā)一次該刷新salt * saltutil.refresh_resources三、作業(yè)Job管理與進程信號控制3.1 查詢運行狀態(tài)running返回 minion 上所有正在運行的 Salt 進程數(shù)據(jù)含 jid、fun、pid、tgt 等字段底層委托 salt/utils/minion.py 的running()實現(xiàn)。is_running fun參數(shù)支持glob 通配返回匹配函數(shù)名的運行作業(yè)。例如salt * saltutil.is_running state.highstate可判斷 highstate 是否正在執(zhí)行。3.2 定位單個作業(yè)find_job jid返回指定 jid 的運行中作業(yè)信息。文檔給出了完整輸出示例含arg、fun、jid、pid、tgt、tgt_type、user字段若作業(yè)已完成則返回空字典。從源碼看salt/modules/saltutil.py它先掃描running()隨后還會檢查cachedir下的state_queue與job_queue排隊目錄——隊列文件按queued_timestamp_jid.p命名命中后返回帶queued: True、pid: 0的結構避免把排隊中作業(yè)誤報為不存在。find_cached_job jid返回已緩存的作業(yè)結果。前提是 minion 配置了cache_jobs: True否則返回提示信息Local jobs cache directory not found; you may need to enable cache_jobs on this minion。數(shù)據(jù)從cachedir/minion_jobs/jid/return.p讀取并反序列化。3.3 信號與終止signal_job jid sig向作業(yè)進程發(fā)送任意信號如15即 SIGTERM。若安裝了psutil會遞歸向進程的所有子進程發(fā)送否則僅發(fā)送給主進程及其記錄的child_pids。當目標進程已不存在時會清理cachedir/proc/jid殘留文件并返回提示。未安裝 psutil 時記錄警告仍嘗試以os.kill發(fā)送。term_job jid等價于signal_job jid SIGTERM終止單個作業(yè)。term_all_jobs向所有正在運行的作業(yè)發(fā)送 SIGTERM。kill_job jid發(fā)送 SIGKILL9。注意源碼頂部兼容 Win32salt_SIGKILL在平臺不支持SIGKILL時回退為SIGTERMsalt/modules/saltutil.py。kill_all_jobs向所有運行作業(yè)發(fā)送 SIGKILL。salt * saltutil.running salt * saltutil.is_running state.highstate salt * saltutil.find_job 20160503150049487736 salt * saltutil.term_job 20160503150049487736 salt * saltutil.kill_all_jobs四、緩存清理與密鑰管理4.1clear_cache強制刪除 minion 的所有緩存遍歷整個cachedir。文檔給出了明確的安全警告最安全的清緩存方式是先停止 minion、刪除緩存文件、再重啟 minion。執(zhí)行時若某個文件刪除失敗會立即返回False。該函數(shù)自 2014.7.0 引入。4.2clear_job_cache按時間閾值清理作業(yè)緩存目錄cachedir/minion_jobs下超過指定小時數(shù)的子目錄目錄 mtime 早于now - hours * 3600即被整目錄刪除默認hours24自 2018.3.0 引入。適合在長期運行的 minion 上回收磁盤空間salt * saltutil.clear_cache salt * saltutil.clear_job_cache hours124.3regen_keys與revoke_authregen_keys刪除pki_dir通常為/etc/salt/pki/minion下的所有密鑰文件隨后重建與 master 的請求通道ReqChannel以強制重新生成 minion 密鑰。典型用途是重命名/遷移 minion 或重置認證執(zhí)行后 minion 需重新在 master 上被接受。revoke_authminion 主動向 master 發(fā)送revoke_auth請求讓 master 撤銷它自己的密鑰。文檔特別提醒該命令執(zhí)行后 minion 會話被吊銷可能無法把執(zhí)行結果返回給 master?？蛇x參數(shù)preserve_minion_cache默認False設為True時 master 保留該 minion 的緩存。實現(xiàn)會遍歷master_uri_list多 master 場景逐個發(fā)送請求任一通道超時則整體返回False。salt * saltutil.regen_keys salt * saltutil.revoke_auth salt * saltutil.revoke_auth preserve_minion_cacheTrue五、Master 側能力反調runner、wheel、cmd與mmodule這組函數(shù)允許運行在 master 之上的 minion或在 master 上執(zhí)行salt-call反哺 master把 master 側能力以執(zhí)行模塊的形式暴露出來。5.1runner name在 master 上執(zhí)行 runner 函數(shù)自 2014.7.0 引入。文檔要求必須通過運行在 master 上的 minion或在 master 上執(zhí)行 salt-call來調用。支持arg、kwarg、full_return、saltenv默認base、jid等參數(shù)runner 函數(shù)若接受saltenv參數(shù)會自動注入對state.orchestrate/state.orch/state.sls會注入orchestration_jid以銜接編排作業(yè)。salt master_minion saltutil.runner jobs.list_jobs salt master_minion saltutil.runner test.arg arg[baz] kwarg{foo: bar}5.2wheel name [args]在 master 上執(zhí)行 wheel 模塊函數(shù)自 2014.7.0 引入要求目標 minion與 master 位于同一主機。文檔明確指出若對非本機 minion 調用將得到空返回——遠程 minion 無法訪問 wheel 函數(shù)及其返回數(shù)據(jù)。salt my-local-minion saltutil.wheel key.accept jerry salt my-local-minion saltutil.wheel minions.connected5.3 權限對齊細節(jié)源碼級補充從源碼看runner/wheel在 minion 進程內(nèi)執(zhí)行 master 側函數(shù)而自 3006 起 master 默認以salt用戶運行見_master_user_runas注釋中的 issue #67716。為讓 master 側函數(shù)如 git_pillar/gitfs 緩存、pki 目錄訪問以 master 配置用戶而非 root 執(zhí)行模塊實現(xiàn)了完整的降權運行鏈路salt/modules/saltutil.py_master_user_runas()校驗opts[user]是否為真實賬號——因為state.orchestrate會把發(fā)布用戶如sudo_login寫入__opts__[user]這類偽用戶會被pwd.getpwnam校驗攔截并跳過降權issue #69600_client_cmd_as()用fork上下文創(chuàng)建子進程在子進程中執(zhí)行chugid降權并通過隊列回傳結果子進程刻意不守護化daemon 進程不允許再派生子進程會影響編排中的parallel: True狀態(tài)父進程同時監(jiān)聽結果隊列與子進程存活子進程異常退出os._exit、OOM、libgit2 段錯誤時拋出CommandExecutionError而非永久阻塞_align_runas_environment()在降權后修正HOME/USER/LOGNAME并刷新 libgit2/pygit2 的全局配置搜索路徑避免 gitfs/git_pillar 讀取到 root 的/root/.gitconfig而出錯。5.4cmd與cmd_iter假設當前 minion 同時也是 master執(zhí)行一條完整的 salt 命令并聚合所有目標 minion 的返回。參數(shù)包括tgt、fun、arg元組、timeout、tgt_type目標匹配類型默認glob2017.7.0 起由expr_form更名而來、retreturner、kwarg、ssh是否走 salt-ssh另支持batch與subset模式源碼_exec分別切換到client.cmd_batch與client.cmd_subset。cmd_iter以生成器逐批產(chǎn)出返回適合流式處理。cmd在返回為空且配置文件為 minion 時還會嘗試讀取同目錄的master配置重試一次。5.5mmodule saltenv fun加載指定環(huán)境下的 minion 模塊使該環(huán)境的 pillar 在渲染時能使用其自定義_modules中的函數(shù)。實現(xiàn)依賴單例類_MMinionsalt/modules/saltutil.py按saltenv緩存MasterMinion實例構建時將file_roots中該環(huán)境的_modules目錄注入module_dirs并重新生成模塊同時保存/恢復全局__grains__保證調用上下文仍是 minion 視角salt * saltutil.mmodule base test.ping六、minion 自升級updateupdate從opts[update_url]更新 minion 自身文檔示例指向 Broadcom 提供的官方構建源https://packages.broadcom.com/artifactory/saltproject-generic/windows/。前提與限制源碼可印證salt/modules/saltutil.py依賴eskyPython 模塊模塊頭聲明:depends: - esky未安裝則返回Esky not available as importminion 必須運行bdist_esky 構建否則返回Minion is not running an Esky build必須配置update_url版本號可選缺省時通過app.find_update()查找最新版文檔提醒 2014-8-11 起 esky 存在缺陷只能下載安裝 update_url 中的最新版本更新完成后按update_restart_services配置逐個service.restart重啟服務并返回Updated from 舊版本 to 新版本及重啟結果。salt * saltutil.update salt * saltutil.update 0.10.3七、實戰(zhàn)場景速查發(fā)布新自定義模塊salt * saltutil.sync_all一鍵同步所有擴展類型只同步執(zhí)行模塊用salt * saltutil.sync_modules指定環(huán)境saltenvdev多環(huán)境saltenvbase,dev。自定義模塊只改了一行不想同步時僅重載——salt * saltutil.refresh_modules同步并刷新——salt * saltutil.sync_utils。修改了 pillar 數(shù)據(jù)salt * saltutil.refresh_pillar需要同步_pillar自定義模塊masterless minion——salt * saltutil.sync_pillar。業(yè)務代碼臨時變更 grainssalt * saltutil.refresh_grains refresh_pillarFalse只刷 grains 不動 pillar。highstate 卡住排查salt * saltutil.is_running state.*定位確認 jid 后salt * saltutil.term_job jid緊急情況salt * saltutil.kill_all_jobs。minion 證書過期/更換salt * saltutil.regen_keys隨后在 master 重新salt-key -a。master 側運維操作在 master 本機salt-call saltutil.runner jobs.list_jobs或salt my-local-minion saltutil.wheel key.list_all。長期運行 minion 磁盤回收salt * saltutil.clear_job_cache hours24徹底清理salt * saltutil.clear_cache先停 minion 更安全。八、延伸閱讀模塊完整源碼salt/modules/saltutil.py底層文件同步實現(xiàn)salt/utils/extmods.py官方 API 文檔頁doc/ref/modules/all/salt.modules.saltutil.rst功能級測試含 grains 緩存回歸tests/pytests/functional/modules/test_saltutil.py與模塊加載機制相關的集成測試tests/integration/loader/test_ext_modules.py贊分享運維配置管理后端【免費下載鏈接】saltSoftware to automate the management and configuration of infrastructure and applications at scale.項目地址https://gitcode.com/gh_mirrors/sa/salt點擊查看免費下載相關推薦Sway 如何用 [test(should_revert)] 編寫預期回滾的單元測試Sway 如何用 test should_revert 編寫預期回滾的單元測試 在 Sway 中給本應失敗的代碼路徑寫單元測試時斷言應當不成立、合約調用運維配置管理后端Salt 執(zhí)行模塊 gpg 完全指南密鑰鏈管理、加密簽名與信任模型實戰(zhàn)Salt 執(zhí)行模塊 gpg 完全指南密鑰鏈管理、加密簽名與信任模型實戰(zhàn) 本文圍繞 Salt 的 gpg 執(zhí)行模塊 salt/modules/gpg.py h運維配置管理后端Salt macOS keychain 模塊實戰(zhàn)指南用 Salt 管理 macOS 鑰匙串中的證書Salt macOS keychain 模塊實戰(zhàn)指南用 Salt 管理 macOS 鑰匙串中的證書 Salt 的 keychain 執(zhí)行模塊 salt/mo運維配置管理后端創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考