#!/data/data/com.termux/files/usr/bin/bash # 远程ffmpeg转码 # @todo 断点续传失败，文件自动从0开始，需要仔细研究下rsync的相关参数 # @todo 需要dashboard跟踪每个任务的文件绝对路径、日志、状态。能识别是否因网络不稳定等原因导致某个循环代码僵住无法跳出 # @todo 支持多个位置插入干预命令(用途: 改变休眠时长,跳出循环,提前终止,改变行为等) # @todo 提供命令, 停止指定任务, 并清理残留垃圾文件 # 基础支持 CUR_DIR="$(dirname "$(readlink -f "$0")")" . "${CUR_DIR}"/lib/get_abs_filename.lib . "${CUR_DIR}"/lib/echolog.lib . "${CUR_DIR}"/lib/monitor.lib # 参数 # 接受最后一个参数，作为本地视频文件路径，转码完成后的结果文件为 [输入路径再追加"{.SERV}{.CRF}.mkv"] （此参数必须写在最尾） # -c 参数可定制 ffmpeg 的crf参数值 （可选） # -s 参数指定配置文件的简称，例如 -s mm 会指定 rh265.mm.conf （可选） ARGS=("$@") if [[ $# = 0 ]]; then less "${CUR_DIR}/readme.md"; exit; fi VDPATH=${ARGS[$(($#-1))]} # 输入文件名（一般取最后一个参数作为输入视频文件名。但如果倒数第二个参数也是文件名，则会先将 [倒数第二个文件名] 所指文件，移动到 [最后一个参数值] 所指文件路径，再开始转码） CRF="" # ffmpeg命令的crf残片 CRF_SUFFIX="" # 本地生成文件名后缀的crf部分 SERV="" # 带有服务器简称的文件名中缀残片 PRESET="" # ffmpeg命令的preset残片 PRESET_SUFFIX="" # 本地生成文件名后缀的preset部分 while getopts "c:s:p:" optname; do case "$optname" in c) CRF="-crf ${OPTARG}" CRF_SUFFIX=".crf${OPTARG}" ;; s) SERV=".${OPTARG}" ;; p) PRESET="-preset ${OPTARG}" PRESET_SUFFIX=".pr${OPTARG}" ;; *) echo "error arg option: -${optname}." exit ;; esac done # 文件参数拦截 # 允许： # rh265 [..options..] rawfile_exists.mp4 # rh265 [..options..] rawfile_exists.mp4 movetofile_not_exists.mp4 # 禁止: # rh265 [..options..] rawfile_not_exists.mp4 # rh265 [..options..] rawfile_exists.mp4 movetofile_exists.mp4 if ! [[ -e "${VDPATH}" ]]; then if [[ $# -eq 1 ]]; then echo "错误：输入的文件不存在" exit fi # 可能采用了 【rh265 [...] rawfile.mp4 movetofile.mp4】的调用形式（先改名，再转码） # MOVETO=$VDPATH # VDPATH=${ARGS[$(($#-2))]} if ! [[ -e "${ARGS[$(($#-2))]}" ]]; then echo "错误：输入的文件不存在" exit else mv "${ARGS[$(($#-2))]}" "${VDPATH}" fi else if [[ $# -ge 2 ]]; then if [[ -e "${ARGS[$(($#-2))]}" ]]; then echo "错误：转码前文件改新名失败，因新名所指文件在以前就已存在" exit fi fi fi # 根据选择的服务器，装载配置文件 conf="${CUR_DIR}"/conf/rh265${SERV}.conf if ! [[ -e "$conf" ]]; then echo '配置文件 ${conf} 不存在.' exit fi . $conf # 本地生成文件统一用的完整中缀，如 ".mm.crf23"，生成某文件的具体名称为 xxxxxxx.mm.crf23.finished GENF_SUFFIX=${SERV}${CRF_SUFFIX}${PRESET_SUFFIX} # 生成PID标记文件，便于跟踪 PID_FILE="${VDPATH}"${GENF_SUFFIX}.pid.$$ touch "$PID_FILE" # 准备好本地日志文件及归档目录 @todo 改为存储json，方便共享读取 LOG_FILE="${CUR_DIR}"/logs/${REMOTE_TMPFILE}-pid-$$.log LOG_FILE_END="${CUR_DIR}"/logs/end MONITOR_DIR="${CUR_DIR}"/logs/monitor MONITOR_FILE="${CUR_DIR}"/logs/monitor/$$.json mkdir -p "${LOG_FILE_END}" mkdir -p "${MONITOR_DIR}" # 保存任务明细到监控中心 （注明下，此处CMD位置由于用了双引号括住，故$@要改成$*，不然报坑爹的Argument `×××' is neither k=v nor k@v 错误） MONITOR_JSON=$(jo \ serv=${SERV/./} \ cwd="`ls -l /proc/$$/cwd`" \ cmd="$0 $*" \ relatepids="`ls /proc/$$/task`" \ local="$VDPATH" \ localfull="`lib_get_abs_filename "$VDPATH"`" \ remote="${REMOTEDIR}/${REMOTE_TMPFILE}.input" \ loging="${CUR_DIR}/logs/${REMOTE_TMPFILE}-pid-$$.log" \ logend="${CUR_DIR}/logs/end/ ${REMOTE_TMPFILE}-pid-$$.log" \ logremote="sshpass -p '${PASSWD}' ssh -l $USER -p $PORT $HOST 'tail -f -n 100 ${REMOTEDIR}/${REMOTE_TMPFILE}.nohup'" \ state="START" \ ) echo "$MONITOR_JSON" > "${MONITOR_FILE}" echo "======== PID=$$ ======== $(echo "${MONITOR_JSON}"|jq -r) " >> "${LOG_FILE_END}/log.map" # 生成便于查看本地日志的脚本文件 LOG_SHOTCUT="${VDPATH}"${GENF_SUFFIX}.locallog.sh echo "tail -f -n 100 '${LOG_FILE}' " > "$LOG_SHOTCUT" # 生成便于查看远程日志的脚本文件（等开始转码时再写） RMLOG_SHOTCUT="${VDPATH}${GENF_SUFFIX}.remotelog.sh" # 控制错误输出 # exec 2>> "`getLogPath`" echo "────────────── PID=$$ ──────────────" { # <<<<<<<<<<<<<<<<< 主逻辑开始 <<<<<<<<<<<<<<<<< # 上传 echolog "上传中... ${VDPATH} => 远程目录${REMOTEDIR}/${REMOTE_TMPFILE}.input" rm -f "${VDPATH}${GENF_SUFFIX}.input.md5" uploadTo(){ sshpass -p "${PASSWD}" ssh -l $USER -p $PORT $HOST "mkdir -p ${REMOTEDIR}" # 创建远程目录 sshpass -p "${PASSWD}" rsync -avP -e "ssh -p ${PORT}" "${VDPATH}" ${USER}@${HOST}:"${REMOTEDIR}/${REMOTE_TMPFILE}.input" # 上传 （注意，多个了P参数，支持断点续传） rsyncResult=$? #if [[ "no input" = $(sshpass -p "${PASSWD}" ssh -l $USER -p $PORT $HOST "if ! [[ -e ${REMOTEDIR}/${REMOTE_TMPFILE}.input ]]; then echo 'no input'; else echo 'uploaded'; fi") ]]; then # return 0 # 暂时不需要这个判断，有下方while中的input.md5有效性检测足矣 #fi if [[ "0" = "${rsyncResult}" ]]; then sshpass -p "${PASSWD}" ssh -l $USER -p $PORT $HOST "md5sum ${REMOTEDIR}/${REMOTE_TMPFILE}.input |awk '{print \$1}' > ${REMOTEDIR}/${REMOTE_TMPFILE}.input.md5" # 上传后写md5 sshpass -p "${PASSWD}" rsync -av -e "ssh -p ${PORT}" ${USER}@${HOST}:"${REMOTEDIR}/${REMOTE_TMPFILE}.input.md5" "${VDPATH}${GENF_SUFFIX}.input.md5" # 下载md5到本地用于验证 fi # return 1 } while true; do if [[ -e "${VDPATH}${GENF_SUFFIX}.input.md5" ]]; then if [[ $(cat "${VDPATH}${GENF_SUFFIX}.input.md5") = '' ]]; then echolog "检测到远程无效的input.md5文件，可能rsync上传被中断，现在重试）" monitor_set '.state = "UPLOAD_RETRY"' "${MONITOR_FILE}" uploadTo continue fi if [[ $(cat "${VDPATH}${GENF_SUFFIX}.input.md5") = $(md5sum "${VDPATH}"|awk '{print $1}') ]]; then echolog "已确认完整上传: ${VDPATH}" monitor_set '.state = "UPLOAD_SUCCESS"' "${MONITOR_FILE}" break # 确保完整上传后，才可跳出重试的循环 else echolog "上传失败，现在重试..." monitor_set '.state = "UPLOAD_RETRY"' "${MONITOR_FILE}" uploadTo fi else echolog C monitor_set '.state = "UPLOAD_ING"' "${MONITOR_FILE}" uploadTo fi sleep 1 done # 后台远程转码 @todo: 一定要确保网络不稳定时，正确完整执行（观察到的情况：在服务器准备转码时，提示input文件不存在。不知道是怎么到这一步的） # @todo: 通过网络检测ffmpeg进程和mkv文件的过程，其实是不可信的，因为会遇到网络波动的情况，造成误判，进而重复提交ffmpeg命令。在遇到确实已转出mkv文件时，会因无法答复系统的[是否覆盖文件]的提问，造成一直提交失败的假象 echolog '上传完毕，开始转码...' RM_COUNT=0 tracingTranscode(){ # @todo: 已有mkv文件，但是被重复提交，提示是否覆盖 mkv already exists. Overwrite ? [y/N] Not overwriting - exiting pnlist=$(sshpass -p "$PASSWD" ssh -l $USER -p $PORT $HOST "ps -ef|grep '${REMOTE_TMPFILE}'|grep ffmpeg|grep -vw grep|awk '{print \$8}'") for pn in $pnlist; do if [[ "$pn" = "ffmpeg" ]]; then return 1 fi done #检测不到ffmpeg进程，可能视频文件太小，ffmpeg快速完成了，那么检测mkv或output文件是否存在 remoteMkvFileExists=$(sshpass -p "$PASSWD" ssh -l $USER -p $PORT $HOST "if [[ -e ${REMOTEDIR}/${REMOTE_TMPFILE}.mkv ]]; then echo 1; else echo 2; fi") if [[ 1 -eq "$remoteMkvFileExists" ]]; then return 1 fi remoteOutputFileExists=$(sshpass -p "$PASSWD" ssh -l $USER -p $PORT $HOST "if [[ -e ${REMOTEDIR}/${REMOTE_TMPFILE}.output ]]; then echo 1; else echo 2; fi") if [[ 1 -eq "$remoteOutputFileExists" ]]; then return 1 fi #进程和文件都找不到，可能转码失败，或ffmpeg命令提交失败 return 0 } while [ $RM_COUNT -lt 5 ]; do RM_COUNT=$((RM_COUNT+1)) echolog "第${RM_COUNT}次提交转码命令.." monitor_set '.state = "FFMPEG_PREPARE"' "${MONITOR_FILE}" # sshpass -p "${PASSWD}" ssh -l $USER -p $PORT $HOST "nohup sh -c 'ffmpeg -i ${REMOTEDIR}/${REMOTE_TMPFILE}.input -c:v libx265 -c:a copy $CRF -movflags +faststart ${REMOTEDIR}/${REMOTE_TMPFILE}.mkv; md5sum ${REMOTEDIR}/${REMOTE_TMPFILE}.mkv|awk \"{print \\\$1}\" > ${REMOTEDIR}/${REMOTE_TMPFILE}.output.md5; touch ${REMOTEDIR}/${REMOTE_TMPFILE}.finished' > ${REMOTEDIR}/${REMOTE_TMPFILE}.nohup 2>&1 &" # 上面这条命令太复杂，以后可能还需要添加更多逻辑，有必要拆行，故采用传递远程脚本文件的形式 echo " inputfile=${REMOTEDIR}/${REMOTE_TMPFILE}.input outputfile=${REMOTEDIR}/${REMOTE_TMPFILE}.mkv pnlist=\`ps -ef|grep \"${REMOTE_TMPFILE}\"|grep ffmpeg|grep -vw grep|awk '{print \$8}'\` for pn in \$pnlist; do if [[ \"\$pn\" = \"ffmpeg\" ]]; then echo \"已检测到ffmpeg进程，不必再提交\" exit fi done if [[ -e \"\$outputfile\" ]]; then echo \"已有mkv文件，不必重复提交\" exit fi ffmpeg -i \$inputfile -c:v libx265 -c:a copy $CRF $PRESET -movflags +faststart \$outputfile ffmpegResult=\$? md5sum \$outputfile|awk \"{print \\\$1}\" > ${REMOTEDIR}/${REMOTE_TMPFILE}.output.md5 if [[ -e \"\$outputfile\" ]] && [[ \"0\" -eq \"\$ffmpegResult\" ]]; then # 确认ffmpeg已成功执行完毕，写入finished标记文件 touch ${REMOTEDIR}/${REMOTE_TMPFILE}.finished # 修改结果文件的后缀名，规避审查（可能行吧） mv ${REMOTEDIR}/${REMOTE_TMPFILE}.mkv ${REMOTEDIR}/${REMOTE_TMPFILE}.output fi " > "${VDPATH}${GENF_SUFFIX}.ffmpeg" sshpass -p "${PASSWD}" rsync -avP -e "ssh -p ${PORT}" "${VDPATH}${GENF_SUFFIX}.ffmpeg" ${USER}@${HOST}:"${REMOTEDIR}/${REMOTE_TMPFILE}.ffmpeg" sshpass -p "${PASSWD}" ssh -l $USER -p $PORT $HOST "nohup bash ${REMOTEDIR}/${REMOTE_TMPFILE}.ffmpeg > ${REMOTEDIR}/${REMOTE_TMPFILE}.nohup 2>&1 &" rm -f "${VDPATH}${GENF_SUFFIX}.ffmpeg" TRACE_NUM=0 while [ $TRACE_NUM -lt 20 ]; do TRACE_NUM=$((TRACE_NUM+1)) tracingTranscode if [[ $? -eq 1 ]]; then echolog "已确认成功提交转码命令，现进入循环等待阶段..." break 2; fi echolog "无法确认是否完整提交转码命令，可能网络不稳定，现等待${TRACE_NUM}秒后再次检查（第${RM_COUNT}轮/第${TRACE_NUM}次）" sleep $TRACE_NUM done done if [ $RM_COUNT -ge 3 ]; then echolog "三次机会提交命令结果均失败，程序被迫中止，请自行清理垃圾文件" touch "${VDPATH}${GENF_SUFFIX}.ffmpegfail" exit fi echo "sshpass -p '${PASSWD}' ssh -l $USER -p $PORT $HOST 'tail -f -n 100 ${REMOTEDIR}/${REMOTE_TMPFILE}.nohup'; " > "${RMLOG_SHOTCUT}" # 提供一条看远程日志的命令 # 检查转码是否完成（1、如果完成则在服务端写入标记文件*.finished; 2、下载*.finished标记文件到本地；3、当本地检测到*.finished文件时则确认转码完成） WAIT_FF=0 while true; do if [[ $WAIT_FF -lt 30 ]]; then WAIT_FF=$((WAIT_FF+1)); fi echolog "waiting for ${WAIT_FF}s ..." monitor_set '.state = "FFMPEG_ING"' "${MONITOR_FILE}" sleep $WAIT_FF # 获取远程结果文件的大小 sshpass -p "${PASSWD}" ssh -l $USER -p $PORT $HOST "ls -sh ${REMOTEDIR}/${REMOTE_TMPFILE}.mkv|awk '{print \$1}' > ${REMOTEDIR}/${REMOTE_TMPFILE}.output.size" sshpass -p "${PASSWD}" rsync -av -e "ssh -p ${PORT}" ${USER}@${HOST}:"${REMOTEDIR}/${REMOTE_TMPFILE}.output.size" "${VDPATH}${GENF_SUFFIX}.output.size" > /dev/null 2>&1 if [[ -e "${VDPATH}${GENF_SUFFIX}.output.size" ]]; then echolog '进行中, 远程结果文件大小：'`cat "${VDPATH}${GENF_SUFFIX}.output.size"` fi # 检查是否完成 sshpass -p "${PASSWD}" rsync -av -e "ssh -p ${PORT}" ${USER}@${HOST}:"${REMOTEDIR}/${REMOTE_TMPFILE}.finished" "${VDPATH}${GENF_SUFFIX}.finished" > /dev/null 2>&1 if [[ -e "${VDPATH}${GENF_SUFFIX}.finished" ]]; then monitor_set '.state = "FFMPEG_FINISH"' "${MONITOR_FILE}" break fi done # 此步远程命令，已转移至 *.ffmpeg # 取回前先改名，减少在审查方面的麻烦（这里有大问题：网络不稳定导致执行失败，进而导致后面无法下载） # sshpass -p "${PASSWD}" ssh -l $USER -p $PORT $HOST "mv ${REMOTEDIR}/${REMOTE_TMPFILE}.mkv ${REMOTEDIR}/${REMOTE_TMPFILE}.output" # 下载会确认完整性，并最后清理垃圾 dlPath="${VDPATH}${GENF_SUFFIX}.mkv" echolog "转码完毕，开始下载结果... ${USER}@${HOST}:${REMOTEDIR}/${REMOTE_TMPFILE}.output.md5 => ${dlPath} " downloadResult(){ sshpass -p "${PASSWD}" rsync -avP -e "ssh -p ${PORT}" ${USER}@${HOST}:"${REMOTEDIR}/${REMOTE_TMPFILE}.output" "${dlPath}" # 注意，多个了P参数，支持断点续传 sshpass -p "${PASSWD}" rsync -av -e "ssh -p ${PORT}" ${USER}@${HOST}:"${REMOTEDIR}/${REMOTE_TMPFILE}.output.md5" "${VDPATH}${GENF_SUFFIX}.output.md5" } #while true; do DL_NUM=0 while [ $DL_NUM -lt 1000 ]; do DL_NUM=$((DL_NUM+1)) monitor_set '.state = "DOWNLOAD_ING"' "${MONITOR_FILE}" if [[ -e "${dlPath}" ]]; then if [[ $(cat "${VDPATH}${GENF_SUFFIX}.output.md5") = $(md5sum "${dlPath}"|awk '{print $1}') ]]; then echolog D # 确认已下载，开始清理垃圾 sshpass -p "${PASSWD}" ssh -l $USER -p $PORT $HOST " rm ${REMOTEDIR}/${REMOTE_TMPFILE}.input ${REMOTEDIR}/${REMOTE_TMPFILE}.output ${REMOTEDIR}/${REMOTE_TMPFILE}.input.md5 ${REMOTEDIR}/${REMOTE_TMPFILE}.output.md5 ${REMOTEDIR}/${REMOTE_TMPFILE}.output.size -f" rm "${VDPATH}${GENF_SUFFIX}.input.md5" "${VDPATH}${GENF_SUFFIX}.output.md5" "${VDPATH}${GENF_SUFFIX}.output.size" "${VDPATH}${GENF_SUFFIX}.finished" -f echolog "取回完毕： ${dlPath}" monitor_set '.state = "DOWNLOAD_SUCCESS"' "${MONITOR_FILE}" break else downloadResult fi else downloadResult fi # @todo: 由于网络环境切换或波动，下载不一定成功，故给定一些下载的机会；每失败一次，等待时间会增加；当次数用完，则终止程序 echolog "已尝试第${DL_NUM}次下载，下次确认需等待${DL_NUM}秒..." sleep $DL_NUM done # 失败会写标志文件 if ! [[ -e "${dlPath}" ]]; then touch "${VDPATH}${GENF_SUFFIX}.downloadfail" monitor_set '.state = "DOWNLOAD_FAIL"' "${MONITOR_FILE}" fi } 2>&1 | tee -a "${LOG_FILE}" # >>>>>>>>>>>>>>> 主逻辑结束 >>>>>>>>>>>>>>> # 结束时，清理PID和日志捷径；并将日志归档 rm -f "$PID_FILE" rm -f "$LOG_SHOTCUT" rm -f "$RMLOG_SHOTCUT" mv "${LOG_FILE}" "${LOG_FILE_END}" #rm "${MONITOR_FILE}" -f # 等监控功能正常了,这一句就可以放开执行了