務派遣合同是勞務派遣公司和用工單位簽訂的普通民事合同，勞動者並不是該合同的合同相對方，和勞動者建立勞動關係的是勞務派遣公司。

中國法律目前並沒有用工單位違反《勞動合同法》和勞務派遣合同約定退回勞動者的具體規定，只有根據《勞務派遣暫行規定》第24條和與之對應的《勞動合同法》第92條有原則性的規定來推斷。

這麼說吧，勞動者被退回後，勞動派遣公司有兩種選擇，第一種選擇不予勞動者解除勞動合同，而是將勞動者派遣到其他單位，在兩次派遣的空餘期間按當地最低工資標準支付勞動者勞動報酬。如果勞務派遣公司選擇這樣的做法，那麼之前的用工單位因為沒有法律的相關規定所以不用承擔責任，勞動者工作年限連續計算。

第二種是勞動者被退回後勞務派遣公司就和勞動者解除勞動合同，因為這種解除一般是違法解除，勞動者可以因此要求賠償金，但是因為過錯方包括之前的用工單位所以根據相關法律勞務派遣公司和之前退回勞動者的用工單位對此承擔連帶賠償責任。

實踐中勞務派遣公司一般採用第二種做法，原因是如果採用第一種做法因為勞動者的勞動年限連續計算，勞務派遣公司在未來有獨立承擔較高額度勞動補償金的風險。而第二種做法可以把違法解除勞動合同的賠償風險轉移到用工單位身上。