首頁>科技>

物件儲存 COS 簡介

物件儲存(Cloud Object Storage,COS)是由騰訊雲推出的無目錄層次結構、無資料格式限制,可容納海量資料且支援 HTTP/HTTPS 協議訪問的分散式儲存服務。

騰訊雲 COS 的儲存桶空間無容量上限,無需分割槽管理,適用於 CDN 資料分發、資料永珍處理或大資料計算與分析的資料湖等多種場景。

COS 提供網頁端管理介面、多種主流開發語言的 SDK、API 以及命令列和圖形化工具,並且相容 S3 的 API 介面,方便使用者直接使用社群工具和外掛。

COSFS工具介紹

功能說明 COSFS 工具支援將 COS 儲存桶掛載到本地,像使用本地檔案系統一樣直接操作騰訊雲物件儲存中的物件,

COSFS 提供的主要功能包括:

1)支援 POSIX 檔案系統的大部分功能,如:檔案讀寫、目錄操作、連結操作、許可權管理、uid/gid 管理等功能。2)大檔案分塊傳輸功能。3)MD5 資料校驗功能。

將本機資料上傳至 COS,建議使用 COS Migration 工具 或 COSCMD 工具

可以參考如下文件連結 https://cloud.tencent.com/document/product/436/6883

在騰訊雲主機安裝COSFS工具並使用COS物件儲存1、購買COS物件儲存

https://cloud.tencent.com/act/pro/cos

目前有物件儲存 COS 專場特惠 1元COS禮包

【1元購 COS 50GB 1年儲存包,贈10元代金券】 下單購買

(圖片可放大檢視)

(圖片可放大檢視)

購買時注意地域選擇,我這裡選擇中國大陸通用

2、在騰訊雲控制檯按提示建立儲存桶

建立時注意所屬地域,我這裡選擇上海地域,與雲主機同地域

(圖片可放大檢視)

(圖片可放大檢視)

建立後,記住儲存桶名稱,以及請求域名

3、控制檯中檢視儲存桶

例如儲存桶建立一個資料夾

(圖片可放大檢視)

4、騰訊雲控制檯API金鑰管理中新建金鑰

記錄SecretId和SecretKey資訊,後面會用到

(圖片可放大檢視)

(圖片可放大檢視)

5、下載cosfs CentOS7版本的rpm包

cosfs CentOS7版本的rpm包可以在github上下載

https://github.com/tencentyun/cosfs/releaseshttps://github.com/tencentyun/cosfs/releases/download/v1.0.19/cosfs-1.0.19-centos7.0.x86_64.rpm

(圖片可放大檢視)

6、雲主機yum本地安裝cosfs1.0.19的rpm包

(圖片可放大檢視)

透過指令碼獲取雲主機資訊可以看到該雲主機也屬於上海區域

(圖片可放大檢視)

yum localinstall cosfs-1.0.19-centos7.0.x86_64.rpm

會自動安裝相關依賴包, 然後yum install fuse

(圖片可放大檢視)

7. 配置金鑰檔案

在檔案/etc/passwd-cosfs中,寫入儲存桶名稱(格式為 BucketName-APPID),以及該儲存桶對應的 SecretId 和 SecretKey,三項之間使用半形冒號隔開。

並且為了防止金鑰洩露,COSFS 要求將金鑰檔案的許可權設定成640

配置/etc/passwd-cosfs金鑰檔案的命令格式如下:

修改 /etc/passwd-cosfs 檔案

echo <BucketName-APPID>:<SecretId>:<SecretKey> > /etc/passwd-cosfschmod 640 /etc/passwd-cosfs需要將 <BucketName-APPID>、<SecretId> 和 <SecretKey> 替換為實際的資訊。<SecretId> 和 <SecretKey> 請前往訪問管理控制檯的 "API金鑰管理" 中獲取

(圖片可放大檢視)

8、確認是否是透過內網訪問COS

1)、騰訊雲物件儲存 COS 的訪問域名使用了智慧 DNS 解析,透過網際網路在不同的運營商環境下,會檢測並指向最優鏈路供您訪問 COS。

如果在騰訊雲內部署了服務用於訪問 COS,則同地域範圍內訪問將會自動被指向到內網地址。

跨地域暫不支援內網訪問,預設將會解析到外網地址

可以在後臺nslookup/dig測試,確認是透過內網訪問COS

nslookup cos.ap-shanghai.myqcloud.com

2)內網訪問判斷方法

相同地域內騰訊雲產品訪問,將會自動使用內網連線,產生的內網流量不計費。因此選購騰訊雲不同產品時,建議儘量選擇相同地域,減少費用。

確認是否內網訪問請參考如下方法:

與騰訊 CVM 訪問 COS 為例,判斷是否使用內網訪問 COS ,可以在 CVM 上 使用nslookup命令解析 COS 域名,若返回內網 IP,則表明 CVM 和 COS 之間是內網訪問,否則為外網訪問。

說明:內網 IP 地址一般形如10...、100... ,VPC 網路一般為169.254.. 等,這兩種形式的 IP 都屬於內網

如下圖所示169.254.0.47為內網IP

(圖片可放大檢視)

9、使用cosfs命令手動掛載

上面將已經在金鑰檔案中配置好資訊的儲存桶掛載到指定目錄,可以使用如下命令列進行手動掛載:

cosfs <BucketName-APPID> <MountPoint> -ourl=<CosDomainName> -odbglevel=info -oallow_other其中:<MountPoint> 為本地掛載目錄(例如/mnt)  <CosDomainName> 為儲存桶對應的訪問域名,形式為http://cos.<region>.myqcloud.com (適用於 XML API,請勿在該引數中攜帶儲存桶名稱),其中 <Region> 為地域簡稱, 例如 ap-guangzhou 、 ap-shanghai 等  -odbglevel 指定日誌級別  -oallow_other 允許非掛載使用者訪問掛載資料夾

手動掛載

mkdir /COSFS_Storagecosfs yuanfan2021-12XXXX8 /COSFS_Storage -ourl=http://cos.ap-shanghai.myqcloud.com -odbglevel=info -oallow_other

(圖片可放大檢視)

df -PTh驗證掛載是否成功 複製一個檔案到COS儲存目錄中 可以用iftop觀察實時流量

iftop -i eth0  -N -n -m 10M -P 

(圖片可放大檢視)

(圖片可放大檢視)

檢視流量可以看到走的是內網流量

10、解除安裝儲存桶方式1:fusermount -u /mnt, fusermount 命令專用於解除安裝 FUSE 檔案系統方式2:umount -l /mnt, 當有程式引用檔案系統中檔案時,進行解除安裝不會報錯,並在沒程式引用時完成解除安裝方式3:umount /mnt, 當有程式引用檔案系統中的檔案時,進行解除安裝會報錯

如下圖所示

fusermount -u /COSFS_Storagedf -PTh

(圖片可放大檢視)

11、開機啟動掛載COS儲存

在 /etc/fstab 檔案中新增如下的內容,其中,_netdev 選項使得網路準備好後再執行當前命令:

cosfs#yuanfan2021-125xxxxc998 /COSFS_Storage fus_netdev,allow_other,url=http://cos.ap-shanghai.myqcloud.com,dbglevel=info

mount -a進行驗證

(圖片可放大檢視)

Tips

COSFS 工具常見問題可以參考騰訊雲文件

文件中心 > 物件儲存 > 常見問題 > 工具問題 > COSFS 工具

https://cloud.tencent.com/document/product/436/30743

另外COS儲存提供有不同作業系統的客戶端工具

(圖片可放大檢視)

12
最新評論
  • 整治雙十一購物亂象,國家再次出手!該跟這些套路說再見了
  • 從此朋友圈只設置三天可見的人是抱著什麼樣的心態呢?