后端数据存储【免费下载链接】perkeepPerkeep (née Camlistore) is your personal storage system for life: a way of storing, syncing, sharing, modelling and backing up content.项目地址https://gitcode.com/gh_mirrors/pe/perkeep点击查看免费下载Perkeep前身 Camlistore是一个面向个人的长期存储系统其大量运行时行为——从客户端认证、GPG 密钥选择、目录定位到索引后端切换、网络限速与调试开关——都通过一组CAMLI_*以及少量PERKEEP_*、DEV_*、AWS_*、CAMPUT_*、PK_*环境变量来控制。本文以 doc/environment-vars.md 为骨架结合仓库源码与 devcam 的实际注入逻辑逐条讲解每个变量的用途、取值约定、优先级关系与底层实现帮助你理解 Perkeep 各组件客户端、服务端、devcam、索引器、发布器的配置体系并能直接应用于自己的部署与开发调试。一、环境变量的通用解析规则Perkeep 对布尔型与整数型环境变量有统一的解析约定理解这一点可以避免大量踩坑。布尔值的隐式转换所有布尔环境变量均使用 Go 标准库的strconv.ParseBool解析它只接受以下值大小写敏感地接受大小写变体真值1、t、T、TRUE、true、True假值0、f、F、FALSE、false、False任何其他值都会被视为隐式false即非 1/true 即关闭。这意味着你不需要显式设置false来关闭某功能留空或不设置即可而设置CAMLI_DEBUGyes之类是无效的必须用CAMLI_DEBUG1或CAMLI_DEBUGtrue。仓库中的大量读取都遵循这一约定例如 pkg/env/env.go 中isDev os.Getenv(CAMLI_DEV_CAMLI_ROOT) ! isDebug, _ strconv.ParseBool(os.Getenv(CAMLI_DEBUG)) isDebugUploads, _ strconv.ParseBool(os.Getenv(CAMLI_DEBUG_UPLOADS))注意CAMLI_DEV_CAMLI_ROOT是一个字符串变量其判空方式与布尔变量不同。整数值的限制整数值使用strconv.Atoi解析这意味着只接受十进制数十六进制0x1F、八进制017等格式都会解析失败并回退为零。典型应用见 pkg/webserver/webserver.go 中读取DEV_THROTTLE_KBPS与DEV_THROTTLE_LATENCY_MS的方式kBps, _ : strconv.Atoi(os.Getenv(DEV_THROTTLE_KBPS)) ms, _ : strconv.Atoi(os.Getenv(DEV_THROTTLE_LATENCY_MS))二、通用General环境变量路径、认证与客户端行为这一节变量影响 Perkeep 客户端的连接、目录定位、密钥选择与上传行为是日常部署中最常接触的一批。AWS 凭据S3 测试AWS_ACCESS_KEY_IDstringAWS_ACCESS_KEY_SECRETstring这对变量用于 S3 相关的测试场景。若未设置依赖真实 S3 的测试会被跳过一旦设置查询会真实发往 Amazon S3 服务。生产环境的 S3 存储配置应放在 blobserver 的配置文件中而非环境变量。应用可执行文件目录CAMLI_APP_BINDIRstringPerkeep 启动服务端应用如 publisher、scanningcabinet 等时首先在此目录查找可执行文件找不到再回退到PATH。devcam server 会将其显式设为bin见 dev/devcam/server.go。认证与服务器选择CAMLI_AUTHstring客户端认证方式的兜底配置。当配置文件client-config.json缺少auth条目时使用尤其当客户端通过命令行-server指定 Perkeep 实例时此环境变量优先于配置文件中的 auth。具体读取逻辑见 pkg/client/config.go 的SetupAuth——它仅在 Android 或 dev 模式env.IsDev()或配置文件被禁用时优先从环境变量取 auth其余场景以配置文件为准。devcam 会注入CAMLI_AUTHuserpass:camlistore:pass3179服务端则覆盖为devauth:pass3179。CAMLI_DEFAULT_SERVERstring默认使用的服务器别名取值是 client-config.json 中servers对象的别名键。设置后其优先级高于配置文件中的default: true标记。见 pkg/client/config.go 的defaultServer实现wantAlias : os.Getenv(CAMLI_DEFAULT_SERVER) for alias, serverConf : range config.Servers { if (wantAlias ! wantAlias alias) || (wantAlias serverConf.IsDefault) { return cleanServer(serverConf.Server) } }目录定位缓存、配置、变量目录PERKEEP_CACHE_DIR或CAMLI_CACHE_DIRstring覆盖操作系统默认缓存目录。PERKEEP_前缀是新命名CAMLI_前缀保留兼容。实现见 internal/osutil/paths.go先检查PERKEEP_CACHE_DIR再检查CAMLI_CACHE_DIR之后按平台回退macOS 的~/Library/Caches/Camlistore、Windows 的%TEMP%/%TMP%、Linux 的$XDG_CACHE_HOME或~/.cache/perkeep。CAMLI_CONFIG_DIRstring覆盖操作系统特定配置目录。对应 internal/osutil/paths.go 的PerkeepConfigDir它进一步决定了客户端与服务端配置文件的查找位置server-config.json与client-config.json。CAMLI_VAR_DIRstring覆盖应用数据存储目录blob 根目录等文档标注generally unused见 internal/osutil/paths.go 的camliVarDirOf。数据库名CAMLI_DBNAMEstring索引后端的数据库名/DSN。devcam server 会为不同索引后端生成不同值例如 sqlite 时设为root/sqliteindex.db、kv 时设为root/kvindex.db、leveldb 时设为root/leveldbindex.db见 dev/devcam/server.go。开发根目录与 Closure 库CAMLI_DEV_CAMLI_ROOTstringdev 模式下 Perkeep 源码根目录。它被 pkg/server/ui.go 用来定位静态资源js、css、html同时被 pkg/index 与 pkg/server 用作信号在 devcam 环境下输出更友好的错误信息。pkg/env中IsDev()正是以该变量是否非空来判断pkg/env/env.go。CAMLI_DEV_CLOSURE_DIRstring覆盖服务端 Closure 库的提供路径。devcam 的-fullclosure会设置它为clients/web/embed/closure/lib/closuredev/devcam/server.go服务端在 pkg/server/ui.go 读取并直接使用该目录提供 closure handler。导入器开关CAMLI_DISABLE_IMPORTERSbool为 true 时禁用导入器至少是自动后台导入例如启动时的导入。源码 pkg/importer/importer.govar disableImporters, _ strconv.ParseBool(os.Getenv(CAMLI_DISABLE_IMPORTERS))主要用于调试。构建强制开关CAMLI_FORCE_OSARCHbool供make.go使用强制构建不受支持的 OS/ARCH 组合。典型场景见 make.go当检测到 32 位 Mac 构建时直接报错并提示要强行构建请设置CAMLI_FORCE_OSARCH1。Hello 示例应用CAMLI_HELLO_ENABLEDbool是否额外启动 hello world 示例应用。仅 devcam server 使用devcam 的-hello标志会映射为它dev/devcam/server.go。客户端忽略文件CAMLI_IGNORED_FILESstring覆盖客户端配置ignoredFiles选项是逗号分隔的、上传时由 pkg/client 忽略的文件列表。实现见 pkg/client/config.go设置时按逗号切分并立即生效否则回退到配置文件。忽略规则支持 shell 通配模式、绝对路径前缀与路径组件三种匹配方式。配置包含搜索路径CAMLI_INCLUDE_PATHstring配置文件include引用的文件搜索路径。它被 internal/osutil/paths.go 的NewJSONConfigParser使用搜索顺序是当前目录 → Perkeep 配置目录 → 此环境变量路径作为最后兜底。路径格式遵循 OS 约定类 Unix 用冒号分隔/path/1:/path/twoWindows 用分号分隔C:\path\one;D:\path\2。GPG 身份与密钥环CAMLI_KEYIDstring可选 GPG 身份标识优先于配置文件。devcam 命令、config/dev-server-config.json、config/dev-client-dir/client-config.json 都把它用作签名 GPG 公钥的 ID。客户端侧 pkg/client/config.go 先读CAMLI_KEYID为空才回退到配置文件identity字段。CAMLI_SECRET_RINGstringGPG 私钥环路径否则由服务端配置的identitySecretRing、客户端配置的secretRing决定。解析顺序为命令行-secret-keyring标志 CAMLI_SECRET_RING 配置文件 系统默认位置见 internal/osutil/paths.go。索引校验与索引后端开关devcamCAMLI_KV_VERIFYbool启用 cznic/kv 的全部VerifyDb*选项用于追踪数据损坏。devcam 默认注入truedev/devcam/env.go。CAMLI_KVINDEX_ENABLED、CAMLI_LEVELDB_ENABLED、CAMLI_MEMINDEX_ENABLEDbool分别启用 cznic/kv、syndtr/goleveldb、纯内存索引器。三者仅 devcam server 使用一一对应 devcam 的-kvfile、默认/-memory开关dev/devcam/server.go。CAMLI_MONGO_WIPEbool启动时清空基于 mongo 的索引。上传去重搜索CAMLI_NO_FILE_DUP_SEARCHbool为 true 时pk put上传文件时跳过上传前先搜索是否已存在的步骤。适合批量灌入新数据、明确不需要去重检查的场景可显著减少查询开销。启动期性能剖析CAMLI_PPROF_STARTstring作为文件名前缀在服务端启动期间写出base.cpu与base.mem两个 profile 文件主要用于剖析索引语料库corpus扫描。实现见 pkg/serverinit/serverinit.goif v : os.Getenv(CAMLI_PPROF_START); v ! { cpuf : mustCreate(v .cpu) defer cpuf.Close() memf : mustCreate(v .mem) defer memf.Close() rpprof.StartCPUProfile(cpuf) defer rpprof.StopCPUProfile() defer rpprof.WriteHeapProfile(memf) }应用开关devcamCAMLI_PUBLISH_ENABLEDbool是否同时启动 publisher 应用。对应 devcam-publish默认 truedev/devcam/server.go。CAMLI_SCANCAB_ENABLEDbool是否同时启动扫描柜scanning cabinet应用对应 devcam-scancab。CAMLI_HELLO_ENABLEDbool见上文。禁用客户端配置文件CAMLI_DISABLE_CLIENT_CONFIG_FILEbool设置后 pkg/client 将完全不用磁盘上的配置文件。注意这会连带引发parseConfigpanic 约束pkg/client/config.go因此通常只在特殊隔离场景使用配置必须全部通过其他途径如环境变量提供。FUSE 文件系统统计CAMLI_TRACK_FS_STATSbool为 fuse 文件系统启用操作计数用于观察挂载点上的读写行为。信任证书CAMLI_TRUSTED_CERTstring覆盖客户端配置trustedCerts是逗号分隔的受信任证书指纹路径列表。见 pkg/client/config.go设置后直接切分使用忽略配置文件。Android 客户端输出CAMPUT_ANDROID_OUTPUTbool启用 pkg/client 的状态消息输出到 stdout供 Android 客户端使用Android 上无法直接访问终端需打印到日志/输出通道。禁用 djpeg 降采样CAMLI_DISABLE_DJPEGbool禁用djpeg(1)将 JPEG 按 2、4、8 倍率降采样的能力。仅在 PATH 中能找到 djpeg 时才有实际效果见 internal/images/fastjpeg 相关实现。缩略图缓存PK_DISABLE_THUMB_CACHEbool为 true 时不做缩略图缓存且 URL 携带 cache-buster 组件强制浏览器频繁重新加载。适合开发调试 pkg/server/thumbcache.go 相关功能。强制重新索引CAMLI_REDO_INDEX_ON_RECEIVEbool为 true 时索引器对每一个收到的 blob 都强制重新索引无论之前是否已索引过。仅适用于增量开发索引代码、对内容子集做回溯索引而无需全局重建的场景生产环境慎用。S3 故障注入CAMLI_S3_FAIL_PERCENTint0-100 的整数表示 S3 handler 接收 blob 时人为失败的百分比用于故障注入测试。三、开发Development环境变量调试、限速与测试CAMLI_DEBUGboolperkeepd 与pk put用它启用额外命令行选项pkg/schema 用它启用额外日志。被 pkg/env/env.go 读取为全局调试开关。CAMLI_HTTP_DEBUGbool在 pkg/webserver 启用按请求日志。见 pkg/webserver/webserver.goverbose, _ : strconv.ParseBool(os.Getenv(CAMLI_HTTP_DEBUG))。CAMLI_DEBUG_CONFIGbool让 pkg/serverconfig 在加载时转储由高层配置推导出的低层配置用于排查配置展开问题。CAMLI_DEBUG_Xstring包含魔术子串以启用代码内调试。已知用法见 make.gostrings.Contains(os.Getenv(CAMLI_DEBUG_X), makego)控制 make.go 的 verbose 模式。CAMLI_DEBUG_UPLOADSboolpkg/client 的额外上传日志被 pkg/env/env.go 读取。CAMLI_DEBUG_IMAGESboolpkg/images 解码图片时的额外调试输出供索引器使用。CAMLI_SHA1_ENABLEDbool是否启用创建遗留 SHA-1 blob。仅用于开发期创建新 blob 时改用 SHA-1 哈希不影响 Perkeep 读取已有 SHA-1 blob 的能力。devcam 的-sha1标志映射它dev/devcam/server.go。CAMLI_FAST_DEVbool供 dev/demo.sh 做演示时使用让 devcam server/put 等命令跳过make.go、直接使用预构建产物以加速启动。DEV_THROTTLE_KBPSinteger与DEV_THROTTLE_LATENCY_MSinteger对 pkg/webserver 的响应做限速/注入延迟值 0 表示关闭流量整形。devcam 的-slow标志注入默认值150 kBps 与 90 msdev/devcam/server.go。底层通过 go4.org/net/throttle 实现pkg/webserver/webserver.go。RUN_BROKEN_TESTSbool运行已知损坏的测试供维护者回归验证。四、devcam 环境变量注入全景devcam 是 Perkeep 的本地开发环境封装它把上文大量变量集中注入到子进程是理解哪些变量由谁消费的最佳入口。以devcam server为例核心注入逻辑在 dev/devcam/server.go 的setEnvVars中先注入客户端通用变量CAMLI_AUTH、CAMLI_CACHE_DIR、CAMLI_CONFIG_DIR、CAMLI_SECRET_RING、CAMLI_KEYID、CAMLI_KV_VERIFYdev/devcam/env.go。依据-slow/-debug/-fullindexsync注入DEV_THROTTLE_KBPS、DEV_THROTTLE_LATENCY_MS、CAMLI_HTTP_DEBUG、CAMLI_FULL_INDEX_SYNC_ON_START。依据索引后端选项注入对应CAMLI_*INDEX_ENABLED与CAMLI_DBNAME。依据-publish/-scancab/-hello/-sha1注入CAMLI_PUBLISH_ENABLED、CAMLI_SCANCAB_ENABLED、CAMLI_HELLO_ENABLED、CAMLI_SHA1_ENABLED。注入CAMLI_BASEURL由监听端口与 hostname 推导、CAMLI_DEV_CAMLI_ROOT、以及一组 blob 根目录变量CAMLI_ROOT、CAMLI_ROOT_SHARD1等。因此如果你需要复刻与 devcam 一致的变量环境用于自定义启动脚本可以直接参考该函数的注入清单而不必逐条手工拼写。五、待补充文档Undocumented变量清单仓库文档明确标注以下变量尚未成文在源码中可见语义待补充。了解其存在有助于 grep 代码时快速识别CAMLI_API_HOSTCAMLI_APP_LISTENCAMLI_DEBUG_QUERY_SPEEDCAMLI_DEV_MAP_CLUSTERINGCAMLI_FAKE_STATUS_ERRORCAMLI_GPHOTOS_FULL_IMPORTCAMLI_MORE_FLAGS文档中出现两次疑为重复条目CAMLI_PICASA_FULL_IMPORTCAMLI_QUIETCAMLI_REINDEX_STARTCAMLI_SERVERCAMLI_SET_BASE_URL_AND_SEND_ADDR_TOCAMLI_SYNC_VALIDATECAMLI_TWITTER_FULL_IMPORTCAMLI_TWITTER_SKIP_API_IMPORTDEV_THROTTLE_KBPS/DEV_THROTTLE_LATENCY_MS虽已在上文解释文档仍将其列入待整理PERKEEP_MASTODON_FULL_IMPORT注意CAMLI_SERVER虽然在文档Undocumented一节出现但源码 pkg/client/config.go 中getServer已实际使用它——优先级最高于命令行标志与配置文件。CAMLI_GPHOTOS_FULL_IMPORT、CAMLI_PICASA_FULL_IMPORT、CAMLI_TWITTER_FULL_IMPORT等全量导入类变量与 pkg/importer 的导入器相关grep 对应 importer 目录如 pkg/importer/twitter、pkg/importer/picasa即可看到实际消费点。六、优先级总览与实战建议综合以上解析Perkeep 的配置优先级大体遵循命令行标志 环境变量 配置文件 系统默认的规律但存在例外需以具体变量为准配置项优先级从高到低服务器地址CAMLI_SERVER-server标志 CAMLI_DEFAULT_SERVER/配置default认证Android/dev/禁配置时CAMLI_AUTH否则配置文件authGPG 私钥环-secret-keyring标志 CAMLI_SECRET_RING 配置文件identitySecretRing 默认位置GPG 身份CAMLI_KEYID 配置文件identity忽略文件CAMLI_IGNORED_FILES 配置文件ignoredFiles信任证书CAMLI_TRUSTED_CERT 配置文件trustedCerts缓存/配置/变量目录环境变量 平台默认XDG_*、HOME、APPDATA等实战建议测试场景S3 测试用AWS_ACCESS_KEY_ID/AWS_ACCESS_KEY_SECRET故障注入用CAMLI_S3_FAIL_PERCENT。开发调试组合使用CAMLI_DEBUG、CAMLI_HTTP_DEBUG、CAMLI_DEBUG_UPLOADS、CAMLI_DEBUG_CONFIG网络问题用DEV_THROTTLE_KBPS/DEV_THROTTLE_LATENCY_MS复现慢速环境性能剖析用CAMLI_PPROF_START。索引开发CAMLI_REDO_INDEX_ON_RECEIVE做局部回溯索引CAMLI_KV_VERIFY追查 kv 损坏CAMLI_MONGO_WIPE清空 mongo 索引。迁移与兼容从 Camlistore 升级到 Perkeep 时注意旧目录自动迁移提示internal/osutil/paths.goCAMLI_CACHE_DIR/CAMLI_CONFIG_DIR可显式指定以完全控制数据位置。最后提醒CAMLI_*前缀是历史遗留命名Camlistore 时代新代码同时支持PERKEEP_*如PERKEEP_CACHE_DIR迁移过程中两者保持兼容引用时注意区分。赞分享后端数据存储【免费下载链接】perkeepPerkeep (née Camlistore) is your personal storage system for life: a way of storing, syncing, sharing, modelling and backing up content.项目地址https://gitcode.com/gh_mirrors/pe/perkeep点击查看免费下载相关推荐终极Semaphore配置指南环境变量优先级与配置文件完全解析终极Semaphore配置指南环境变量优先级与配置文件完全解析 Semaphore作为一款现代UI工具为Ansible、Terraform、OpenTofu后端DevOps任务调度认证鉴权Flink PyFlink 环境变量完全指南FLINK_HOME 与 PYFLINK_CLIENT_EXECUTABLE 的机制、优先级与实战配置Flink PyFlink 环境变量完全指南FLINK_HOME 与 PYFLINK_CLIENT_EXECUTABLE 的机制、优先级与实战配置 PyFli后端大数据流处理批处理vLLM-Omni 环境变量完全指南公共契约、优先级与配置实战vLLM Omni 环境变量完全指南公共契约、优先级与配置实战 环境变量是 vLLM Omni 中横跨 CLI、部署 YAML、Python API、work人工智能大模型模型推理服务多模态语音音频媒体生成本地部署上一篇三星Root设备终极修复方案让官方应用完美运行的完整指南下一篇从JavaScript迁移到Reason平滑过渡指南与最佳实践创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考