物件儲存 COS 簡介
物件儲存(Cloud Object Storage,COS)是由騰訊雲推出的無目錄層次結構、無資料格式限制,可容納海量資料且支援 HTTP/HTTPS 協議訪問的分散式儲存服務。
騰訊雲 COS 的儲存桶空間無容量上限,無需分割槽管理,適用於 CDN 資料分發、資料永珍處理或大資料計算與分析的資料湖等多種場景。
COS 提供網頁端管理介面、多種主流開發語言的 SDK、API 以及命令列和圖形化工具,並且相容 S3 的 API 介面,方便使用者直接使用社群工具和外掛。
COSFS工具介紹功能說明 COSFS 工具支援將 COS 儲存桶掛載到本地,像使用本地檔案系統一樣直接操作騰訊雲物件儲存中的物件,
COSFS 提供的主要功能包括:
1)支援 POSIX 檔案系統的大部分功能,如:檔案讀寫、目錄操作、連結操作、許可權管理、uid/gid 管理等功能。2)大檔案分塊傳輸功能。3)MD5 資料校驗功能。將本機資料上傳至 COS,建議使用 COS Migration 工具 或 COSCMD 工具
可以參考如下文件連結 https://cloud.tencent.com/document/product/436/6883
在騰訊雲主機安裝COSFS工具並使用COS物件儲存1、購買COS物件儲存https://cloud.tencent.com/act/pro/cos
目前有物件儲存 COS 專場特惠 1元COS禮包
【1元購 COS 50GB 1年儲存包,贈10元代金券】 下單購買
(圖片可放大檢視)
(圖片可放大檢視)
購買時注意地域選擇,我這裡選擇中國大陸通用
2、在騰訊雲控制檯按提示建立儲存桶建立時注意所屬地域,我這裡選擇上海地域,與雲主機同地域
(圖片可放大檢視)
(圖片可放大檢視)
建立後,記住儲存桶名稱,以及請求域名
3、控制檯中檢視儲存桶例如儲存桶建立一個資料夾
(圖片可放大檢視)
4、騰訊雲控制檯API金鑰管理中新建金鑰記錄SecretId和SecretKey資訊,後面會用到
(圖片可放大檢視)
(圖片可放大檢視)
5、下載cosfs CentOS7版本的rpm包cosfs CentOS7版本的rpm包可以在github上下載
https://github.com/tencentyun/cosfs/releaseshttps://github.com/tencentyun/cosfs/releases/download/v1.0.19/cosfs-1.0.19-centos7.0.x86_64.rpm
(圖片可放大檢視)
6、雲主機yum本地安裝cosfs1.0.19的rpm包(圖片可放大檢視)
透過指令碼獲取雲主機資訊可以看到該雲主機也屬於上海區域
(圖片可放大檢視)
yum localinstall cosfs-1.0.19-centos7.0.x86_64.rpm
會自動安裝相關依賴包, 然後yum install fuse
(圖片可放大檢視)
7. 配置金鑰檔案在檔案/etc/passwd-cosfs中,寫入儲存桶名稱(格式為 BucketName-APPID),以及該儲存桶對應的 SecretId 和 SecretKey,三項之間使用半形冒號隔開。
並且為了防止金鑰洩露,COSFS 要求將金鑰檔案的許可權設定成640
配置/etc/passwd-cosfs金鑰檔案的命令格式如下:
修改 /etc/passwd-cosfs 檔案
echo <BucketName-APPID>:<SecretId>:<SecretKey> > /etc/passwd-cosfschmod 640 /etc/passwd-cosfs需要將 <BucketName-APPID>、<SecretId> 和 <SecretKey> 替換為實際的資訊。<SecretId> 和 <SecretKey> 請前往訪問管理控制檯的 "API金鑰管理" 中獲取
(圖片可放大檢視)
8、確認是否是透過內網訪問COS1)、騰訊雲物件儲存 COS 的訪問域名使用了智慧 DNS 解析,透過網際網路在不同的運營商環境下,會檢測並指向最優鏈路供您訪問 COS。
如果在騰訊雲內部署了服務用於訪問 COS,則同地域範圍內訪問將會自動被指向到內網地址。
跨地域暫不支援內網訪問,預設將會解析到外網地址
可以在後臺nslookup/dig測試,確認是透過內網訪問COS
nslookup cos.ap-shanghai.myqcloud.com
2)內網訪問判斷方法
相同地域內騰訊雲產品訪問,將會自動使用內網連線,產生的內網流量不計費。因此選購騰訊雲不同產品時,建議儘量選擇相同地域,減少費用。
確認是否內網訪問請參考如下方法:
與騰訊 CVM 訪問 COS 為例,判斷是否使用內網訪問 COS ,可以在 CVM 上 使用nslookup命令解析 COS 域名,若返回內網 IP,則表明 CVM 和 COS 之間是內網訪問,否則為外網訪問。
說明:內網 IP 地址一般形如10...、100... ,VPC 網路一般為169.254.. 等,這兩種形式的 IP 都屬於內網
如下圖所示169.254.0.47為內網IP
(圖片可放大檢視)
9、使用cosfs命令手動掛載上面將已經在金鑰檔案中配置好資訊的儲存桶掛載到指定目錄,可以使用如下命令列進行手動掛載:
cosfs <BucketName-APPID> <MountPoint> -ourl=<CosDomainName> -odbglevel=info -oallow_other其中:<MountPoint> 為本地掛載目錄(例如/mnt) <CosDomainName> 為儲存桶對應的訪問域名,形式為http://cos.<region>.myqcloud.com (適用於 XML API,請勿在該引數中攜帶儲存桶名稱),其中 <Region> 為地域簡稱, 例如 ap-guangzhou 、 ap-shanghai 等 -odbglevel 指定日誌級別 -oallow_other 允許非掛載使用者訪問掛載資料夾
手動掛載
mkdir /COSFS_Storagecosfs yuanfan2021-12XXXX8 /COSFS_Storage -ourl=http://cos.ap-shanghai.myqcloud.com -odbglevel=info -oallow_other
(圖片可放大檢視)
df -PTh驗證掛載是否成功 複製一個檔案到COS儲存目錄中 可以用iftop觀察實時流量
iftop -i eth0 -N -n -m 10M -P
(圖片可放大檢視)
(圖片可放大檢視)
檢視流量可以看到走的是內網流量
10、解除安裝儲存桶方式1:fusermount -u /mnt, fusermount 命令專用於解除安裝 FUSE 檔案系統方式2:umount -l /mnt, 當有程式引用檔案系統中檔案時,進行解除安裝不會報錯,並在沒程式引用時完成解除安裝方式3:umount /mnt, 當有程式引用檔案系統中的檔案時,進行解除安裝會報錯如下圖所示
fusermount -u /COSFS_Storagedf -PTh
(圖片可放大檢視)
11、開機啟動掛載COS儲存在 /etc/fstab 檔案中新增如下的內容,其中,_netdev 選項使得網路準備好後再執行當前命令:
cosfs#yuanfan2021-125xxxxc998 /COSFS_Storage fus_netdev,allow_other,url=http://cos.ap-shanghai.myqcloud.com,dbglevel=info
mount -a進行驗證
(圖片可放大檢視)
TipsCOSFS 工具常見問題可以參考騰訊雲文件
文件中心 > 物件儲存 > 常見問題 > 工具問題 > COSFS 工具
https://cloud.tencent.com/document/product/436/30743
另外COS儲存提供有不同作業系統的客戶端工具
(圖片可放大檢視)