trap是Linux的內建命令,用於捕捉訊號,trap命令可以指定收到某種訊號時所執行的命令。trap命令的格式如下:trap command sig1 sig2 ... sigN,當接收到sinN中任意一個訊號時,執行command命令,command命令完成後繼續接收到訊號前的操作,直到指令碼結束。 利用trap命令捕捉INT訊號(即與Ctrl+c繫結的中斷訊號)。trap還可以忽略某些訊號,將command用空字串代替即可,如trap "" TERM INT,忽略kill %n和Ctrl+c傳送的訊號(kill傳送的是TERM訊號)。Linux更強勁的殺死程序的命令:kill -9 程序號(或kill -9 %n作業號)等價與kill -KILL 程序號。
舉個例子
:
最近小A需要生產2015年全年的KPI資料報表,現在小A已經將生產指令碼寫好了,生產指令碼一次只能生產指定一天的KPI資料,假設跑一次生產指令碼需要5分鐘,那麼:
如果是迴圈順序執行,那麼需要時間:5 * 365 = 1825 分鐘,約等於 6 天
如果是一次性放到linux後臺併發執行,365個後臺任務,系統可承受不住哦!
既然不能一次性把365個任務放到linux後臺執行,那麼,能不能實現自動地每次將N個任務放到後臺併發執行呢?當然是可以的啦。
#! /bin/bash
source /etc/profile;
# -----------------------------
tempfifo=$$.fifo # $$表示當前執行檔案的PID
begin_date=$1 # 開始時間
end_date=$2 # 結束時間
if [ $# -eq 2 ]
then
if [ "$begin_date" \> "$end_date" ]
echo "Error! $begin_date is greater than $end_date"
exit 1;
fi
else
echo "Error! Not enough params."
echo "Sample: sh loop_kpi 2015-12-01 2015-12-07"
exit 2;
trap "exec 1000>&-;exec 1000
mkfifo $tempfifo
exec 1000$tempfifo
rm -rf $tempfifo
for ((i=1; i
do
echo >&1000
done
while [ $begin_date != $end_date ]
read -u1000
{
echo $begin_date
hive -f kpi_report.sql --hivevar date=$begin_date
} &
begin_date=`date -d "+1 day $begin_date" +"%Y-%m-%d"`
wait
echo "done!!!!!!!!!!"
第6~22行:比如:sh loop_kpi_report.sh 2015-01-01 2015-12-01:
$1表示指令碼入參的第一個引數,等於2015-01-01
$2表示指令碼入參的第二個引數,等於2015-12-01
$#表示指令碼入參的個數,等於2
第13行用於比較傳入的兩個日期的大小,\>是轉義
第26行:表示在指令碼執行過程中,如果接收到Ctrl+C中斷命令,則關閉檔案描述符1000的讀寫,並正常退出
exec 1000>&-;表示關閉檔案描述符1000的寫
exec 1000
trap是捕獲中斷命令
第27~29行:
第27行,建立一個管道檔案
第28行,將檔案描述符1000與FIFO進行繫結,寫的繫結,則標識對檔案描述符1000的所有操作等同於對管道檔案$tempfifo的操作
第29行,可能會有這樣的疑問:為什麼不直接使用管道檔案呢?事實上這並非多此一舉,管道的一個重要特性,就是讀寫必須同時存在,缺失某一個操作,另一個操作就是滯留,而第28行的繫結檔案描述符(讀、寫繫結)正好解決了這個問題
第31~34行:對檔案描述符1000進行寫入操作。透過迴圈寫入8個空行,這個8就是我們要定義的後臺併發的執行緒數。為什麼是寫空行而不是寫其它字元?因為管道檔案的讀取,是以行為單位的
第37~42行:
第37行,read -u1000的作用就是讀取管道中的一行,在這裡就是讀取一個空行;每次讀取管道就會減少一個空行
第39~41行,注意到第42行結尾的&嗎?它表示程序放到linux後臺中執行
第41行,執行完後臺任務之後,往檔案描述符1000中寫入一個空行。這是關鍵所在了,由於read -u1000每次操作,都會導致管道減少一個空行,當linux後臺放入了8個任務之後,由於檔案描述符1000沒有可讀取的空行,將導致read -u1000一直處於等待。
trap是Linux的內建命令,用於捕捉訊號,trap命令可以指定收到某種訊號時所執行的命令。trap命令的格式如下:trap command sig1 sig2 ... sigN,當接收到sinN中任意一個訊號時,執行command命令,command命令完成後繼續接收到訊號前的操作,直到指令碼結束。 利用trap命令捕捉INT訊號(即與Ctrl+c繫結的中斷訊號)。trap還可以忽略某些訊號,將command用空字串代替即可,如trap "" TERM INT,忽略kill %n和Ctrl+c傳送的訊號(kill傳送的是TERM訊號)。Linux更強勁的殺死程序的命令:kill -9 程序號(或kill -9 %n作業號)等價與kill -KILL 程序號。
舉個例子
:
最近小A需要生產2015年全年的KPI資料報表,現在小A已經將生產指令碼寫好了,生產指令碼一次只能生產指定一天的KPI資料,假設跑一次生產指令碼需要5分鐘,那麼:
如果是迴圈順序執行,那麼需要時間:5 * 365 = 1825 分鐘,約等於 6 天
如果是一次性放到linux後臺併發執行,365個後臺任務,系統可承受不住哦!
既然不能一次性把365個任務放到linux後臺執行,那麼,能不能實現自動地每次將N個任務放到後臺併發執行呢?當然是可以的啦。
#! /bin/bash
source /etc/profile;
# -----------------------------
tempfifo=$$.fifo # $$表示當前執行檔案的PID
begin_date=$1 # 開始時間
end_date=$2 # 結束時間
if [ $# -eq 2 ]
then
if [ "$begin_date" \> "$end_date" ]
then
echo "Error! $begin_date is greater than $end_date"
exit 1;
fi
else
echo "Error! Not enough params."
echo "Sample: sh loop_kpi 2015-12-01 2015-12-07"
exit 2;
fi
# -----------------------------
trap "exec 1000>&-;exec 1000
mkfifo $tempfifo
exec 1000$tempfifo
rm -rf $tempfifo
for ((i=1; i
do
echo >&1000
done
while [ $begin_date != $end_date ]
do
read -u1000
{
echo $begin_date
hive -f kpi_report.sql --hivevar date=$begin_date
echo >&1000
} &
begin_date=`date -d "+1 day $begin_date" +"%Y-%m-%d"`
done
wait
echo "done!!!!!!!!!!"
第6~22行:比如:sh loop_kpi_report.sh 2015-01-01 2015-12-01:
$1表示指令碼入參的第一個引數,等於2015-01-01
$2表示指令碼入參的第二個引數,等於2015-12-01
$#表示指令碼入參的個數,等於2
第13行用於比較傳入的兩個日期的大小,\>是轉義
第26行:表示在指令碼執行過程中,如果接收到Ctrl+C中斷命令,則關閉檔案描述符1000的讀寫,並正常退出
exec 1000>&-;表示關閉檔案描述符1000的寫
exec 1000
trap是捕獲中斷命令
第27~29行:
第27行,建立一個管道檔案
第28行,將檔案描述符1000與FIFO進行繫結,寫的繫結,則標識對檔案描述符1000的所有操作等同於對管道檔案$tempfifo的操作
第29行,可能會有這樣的疑問:為什麼不直接使用管道檔案呢?事實上這並非多此一舉,管道的一個重要特性,就是讀寫必須同時存在,缺失某一個操作,另一個操作就是滯留,而第28行的繫結檔案描述符(讀、寫繫結)正好解決了這個問題
第31~34行:對檔案描述符1000進行寫入操作。透過迴圈寫入8個空行,這個8就是我們要定義的後臺併發的執行緒數。為什麼是寫空行而不是寫其它字元?因為管道檔案的讀取,是以行為單位的
第37~42行:
第37行,read -u1000的作用就是讀取管道中的一行,在這裡就是讀取一個空行;每次讀取管道就會減少一個空行
第39~41行,注意到第42行結尾的&嗎?它表示程序放到linux後臺中執行
第41行,執行完後臺任務之後,往檔案描述符1000中寫入一個空行。這是關鍵所在了,由於read -u1000每次操作,都會導致管道減少一個空行,當linux後臺放入了8個任務之後,由於檔案描述符1000沒有可讀取的空行,將導致read -u1000一直處於等待。