1.5 LSF 快速上手
最后更新于
最后更新于
本文主要是关于 LSF 命令、守护进程、配置文件、日志文件以及重要的集群配置参数的快速介绍。
守护进程的错误日志文件，存储在由 LSF_LOGDIR 变量定义的文件目录下面，该变量值在 lsf.conf 文件中指定。
LSF base system daemon log files | LSF batch system daemon log files |
pim.log.host_name | mbatchd.log.host_name |
res.log.host_name | sbatchd.log.host_name |
lim.log.host_name | mbschd.log.host_name |
如果在 ego.conf 文件中定义了变量 EGO_LOGDIR ，那么 lim.log.host_name 文件则存储在由变量 EGO_LOGDIR 指定的文件目录中。
lsf.conf, lsf.shared, 和 lsf.cluster.cluster_name 文件， 位于由 LSF_CONFDIR 变量定义的文件目录下面，该变量值在 lsf.conf 文件中指定。
lsb.params, lsb.queues, lsb.modules, 和 lsb.resources 文件，位于 LSB_CONFDIR/cluster_name/configdir/ 目录下面。
文件 | 描述 |
install.config | LSF 的安装与配置选项 |
lsf.conf | 描述集群配置和操作的通用环境配置文件 |
lsf.shared | 所有群集共享的定义文件。用于定义群集名称、主机类型、主机型号和站点定义的资源 |
lsf.cluster.cluster_name | 用于定义主机、管理员和站点定义的共享资源的位置的集群配置文件 |
lsb.applications | 定义应用程序配置文件，来指定同类型作业的公共参数 |
lsb.params | 配置 LSF 批处理参数 |
lsb.queues | 批处理队列配置文件 |
lsb.resources | 配置资源分配限制、导出和资源使用限制 |
lsb.serviceclasses | 将LSF集群中的服务级别协议（SLA）定义为服务类，该服务类定义了 SLA 的属性 |
lsb.users | 配置用户组、用户和用户组的分层公平共享，以及用户和用户组的作业槽数限制 |
参数 | 描述 | Unix 默认值 |
LSF_BINDIR | 包含 LSF 用户命令的目录，由相同类型的所有主机共享 | LSF_TOP/version/OStype/bin |
LSF_CONFDIR | 所有 LSF 配置文件的目录 | LSF_TOP/conf |
LSF_ENVDIR | 包含 lsf.conf 文件的目录。必须由root 用户所拥有。 | /etc (if LSF_CONFDIR is not defined) |
LSF_INCLUDEDIR | 包含 LSF API 头文件 lsf.h 和 lsbatch.h的目录 | LSF_TOP/version/include |
LSF_LIBDIR | LSF 库，由相同类型的所有主机共享 | LSF_TOP/version/OStype/lib |
LSF_LOGDIR | （可选）LSF 守护程序日志的目录。必须由 root 拥有。 | /tmp |
LSF_LOG_MASK | 从 LSF 命令记录错误消息的级别 | LOG_WARNING |
LSF_MANDIR | 包含 LSF 手册页的目录 | LSF_TOP/version/man |
LSF_MISC | 示例C程序和Shell脚本，以及外部LIM（elim）的模板 | LSF_TOP/version/misc |
LSF_SERVERDIR | 由 LSF 守护程序启动的所有服务器二进制文件和 Shell 脚本以及外部可执行文件的目录。必须由root拥有，并由相同类型的所有主机共享 | LSF_TOP/version/OStype/etc |
LSF_TOP | 顶级安装目录。 LSF_TOP 的路径必须共享，并且集群中的所有主机都可以访问。它不能是根目录（/）。 | Not definedRequired for installation |
LSB_CONFDIR | LSF批处理配置目录的目录，包含用户和主机列表，操作参数和批处理队列 | LSF_CONFDIR/lsbatch |
LSF_LIVE_CONFDIR | LSF 实时重新配置目录的目录，该目录由 bconf 命令编写。 | LSB_SHAREDIR/cluster_name/live_confdir |
LSF_SHAREDIR | 每个集群的 LSF 批处理作业历史记录和记帐日志文件的目录，必须由首要的 LSF 管理员拥有 | LSF_TOP/work |
LSF_LIM_PORT | 用于与 lim 守护程序进行通信的 TCP 服务端口 | 7879 |
LSF_RES_PORT | 用于与 res 守护程序通信的 TCP 服务端口 | 6878 |
LSF_MBD_PORT | 用于与 mbatchd 守护程序进行通信的 TCP 服务端口 | 6881 |
LSF_SBD_PORT | 用于与 sbatchd 守护程序进行通信的TCP服务端口 | 6882 |
注：只有 LSF 管理员和 root 用户可以使用这些命令。
命令 | 描述 |
lsadmin | LSF 管理员工具，用于控制 LSF 集群中 LIM 和 RES 守护程序的运行，lsadmin help 显示所有子命令 |
lsfinstall | 使用 install.config 输入文件安装 LSF |
lsfrestart | 在本地集群中的所有主机上重新启动 LSF 守护程序 |
lsfshutdown | 关闭本地集群中所有主机上的 LSF 守护程序 |
lsfstartup | 在本地集群中的所有主机上启动 LSF 守护程序 |
badmin | 用于控制 LSF 批处理系统（sbatchd，mbatchd，主机和队列）的 LSF 管理工具 badmin help 显示所有子命令 |
bconf | 更改活动内存中的 LSF 配置 |
进程名 | 描述 |
lim | Load Information Manager (LIM): 负载信息管理器：收集有关集群中所有服务器主机的负载和资源信息，并通过 LSLIB 为应用程序提供主机选择服务。 LIM 维护有关静态系统资源和动态负载索引的信息 |
mbatchd | Master Batch Daemon (MBD): 主批处理守护程序：接受并保存所有批处理作业。 MBD通过联系 主LIM 定期检查所有服务器主机上的负载索引。 |
mbschd | Master Batch Scheduler Daemon：主批处理调度守护程序：执行LSF的调度功能，并将作业调度决策发送到 MBD 以进行调度。 该服务在 LSF 主服务器主机上运行 |
sbatchd | Slave Batch Daemon (SBD)：从属批处理守护程序（SBD）：接受来自 MBD 的作业执行请求，并监视作业进度。 控制作业执行，强制执行批处理策略，将作业状态报告给 MBD，然后启动 MBD。 |
pim | Process Information Manager (PIM): 进程信息管理器（PIM）：监视提交的作业在运行时所使用的资源。 PIM 用于强制执行资源限制和负载阈值以及公平分配调度。 |
res | Remote Execution Server (RES): 远程执行服务器（RES）：接受来自所有负载共享应用程序的远程执行请求，并处理远程主机上的I / O以进行负载共享过程。 |
命令 | 描述 |
bhosts | 显示主机及其静态和动态资源 |
blimits | 显示正在运行的作业的资源分配限制的相关信息 |
bparams | 显示可调批次系统参数的相关信息 |
bqueues | 显示批处理队列的相关信息 |
busers | 显示用户和用户组的相关信息 |
lshosts | 显示主机及其静态资源信息 |
lsid | 显示当前的 LSF 版本号，集群名称和主控主机名 |
lsinfo | 显示负载分担配置信息 |
lsload | 显示主机的动态负载索引 |
命令 | 描述 |
bacct | 报告已完成的 LSF 作业的会计统计数据 |
bapp | 显示附加到应用程序配置文件的作业的相关信息 |
bhist | 显示作业的相关历史信息 |
bjobs | 显示作业的相关信息 |
bpeek | 显示未完成作业的标准输出和标准错误 |
bsla | 显示服务类配置的相关信息，以用于面向目标的服务级别协议调度 |
bstatus | 读取或设置外部作业状态消息和数据文件 |
命令 | 描述 |
bbot | 移动正在等待的作业到队列的末尾 |
bchkpnt | 检查点可检查的工作 |
bkill | 向作业发送信号，一般用于结束作业 |
bmig | 迁移可检查点的或可重新运行的作业 |
bmod | 修改作业的提交选项 |
brequeue | 杀死并重新安排作业 |
bresize | 释放槽位并取消挂起的作业调整大小分配请求 |
brestart | 重新启动检查点作业 |
bresume | 恢复暂停的作业 |
bstop | 暂停作业 |
bsub | 提交作业 |
bswitch | 将未完成的作业从一个队列移至另一队列 |
btop | 移动正在等待的作业到队列首部 |
bsub [options] command [arguments] 命令中的部分选项
选项 | 描述 |
-ar | 指定作业可自动调整大小 |
-H | 提交时将工作保持在 PSUSP 状态 |
-I|-Ip|-Is | 提交批处理交互式作业。 -Ip 创建伪终端。 -is 在shell模式下创建一个伪终端。 |
-K | 提交作业并等待作业完成 |
-r | 使作业可重新运行 |
-x | 排他执行 |
-app application_profile_name | 将作业提交到指定的应用程序配置文件 |
-b begin_time | 在[[month：] day：]：minute 格式的指定日期和时间或之后调度作业 |
-C core_limit | 为属于此作业的所有进程设置每个进程（soft）核心文件的大小限制（KB） |
-c cpu_time[/host_name | /host_model] | 限制作业可以使用的总CPU时间。 CPU时间的格式为[hour:]minutes |
-cwd "current_working_directory" | 指定作业的当前工作目录 |
-D data_limit | 为属于作业的每个进程设置每个进程（soft）数据段的大小限制（KB） |
-E "pre_exec_command [arguments]" | 在作业运行之前，在执行主机上运行指定的pre-exec命令 |
-Ep "post_exec_command [arguments]" | 作业完成后，在执行主机上运行指定的post-exec命令 |
-e error_file | 将标准错误输出附加到文件 |
-eo error_file | 将作业的标准错误输出覆盖到指定文件 |
-F file_limit | 为属于作业的每个进程设置每个进程（soft）文件大小限制（KB） |
-f "local_file op[remote_file]" ... | 在本地（提交）主机和远程（执行）主机之间复制文件。op是>，<，<<，> <，<>之一 |
-i input_file | -is input_file | 从指定文件获取作业的标准输入 |
-J "job_name[index_list]%job_slot_limit" | 为作业分配指定的名称。 作业数组 index_list 的格式 start [-end [：step]]，而 ％job_slot_limit 是可以同时运行的最大作业数。 |
-k "chkpnt_dir [chkpnt_period][method=method_name]" | 使作业可检查，并指定检查点目录，以分钟为单位的时间段和方法 |
-M mem_limit | 设置每个进程（soft）的内存限制（KB） |
-m "host_name [@cluster_name][[!] | +[pref_level]] | host_group[[!] |+[pref_level]] | compute_unit[[!] |+[pref_level]]..." | 在指定的主机之一上运行作业。 主机或组的名称后的加号（+）表示首选项。 可选地有，正整数表示偏好级别。 数字越高表示偏好越大。 |
-n min_proc[,max_proc] | 指定并行作业所需的最小和最大处理器数量 |
-o output_file | 将标准输出附加到文件 |
-oo output_file | 将作业的标准输出覆盖到指定文件 |
-p process_limit | 限制整个作业的进程数量 |
-q "queue_name ..." | 将作业提交到指定的队列之一 |
-R "res_req" [-R "res_req" ...] | 指定主机资源要求 |
-S stack_limit | 为属于作业的每个进程设置每个进程（soft）堆栈段大小限制（KB） |
-sla service_class_name | 指定要在其中运行作业的服务类 |
-T thread_limit | 设置整个作业的并发线程数限制 |
-t term_time | 以 [[month：] day：] hour：minute 的形式指定作业终止的截止日期 |
-v swap_limit | 设置整个作业的总进程虚拟内存限制（KB） |
-W run_time[/host_name | /host_model] | 以[hour：] minute形式设置作业的运行时限制 |
-h | 将命令用法打印到 stderr 并退出 |
-V | 将 LSF 发行版本打印到 stderr 并退出 |
