Minio + Docker 搭建屬于自己的OSS存儲服務(wù)
現(xiàn)在 OSS 服務(wù)算是一個基礎(chǔ)服務(wù)了，很多云服務(wù)廠商都有提供這樣的服務(wù)，價格也不貴，松哥自己的 www.javaboy.org 用的就是類似的服務(wù)。
不過對于中小公司來說，除了購買 OSS 服務(wù)之外，也可以自己搭建專業(yè)的文件服務(wù)器，自己搭建專門的文件服務(wù)器的話，曾經(jīng)比較專業(yè)的做法是 FastDFS，松哥之前也專門為之錄過視頻發(fā)在 B 站上，感興趣的小伙伴可以自行查看。不過 FastDFS 搭建比較麻煩，非常容易出錯，所以對各位小伙伴來說多多少少有一點(diǎn)門檻。
松哥在之前的文章錄制的一些項(xiàng)目視頻中，如果涉及到文件上傳，基本上都是保存在項(xiàng)目本地，這種方式比較省事，但是安全性不高。
所以，今天給大伙介紹一個較好的玩意 MinIO，看看這個工具帶給我們什么驚喜。
1. MinIO 簡介
MinIO 是一個基于 Apache License v2.0 開源協(xié)議的對象存儲服務(wù)，它兼容亞馬遜 S3 云存儲服務(wù)接口，非常適合于存儲大容量非結(jié)構(gòu)化的數(shù)據(jù)，例如圖片、視頻、日志文件、備份數(shù)據(jù)和容器/虛擬機(jī)鏡像等，而一個對象文件可以是任意大小，從幾 KB 到最大 5T 不等。
MinIO 是一個非常輕量的服務(wù)，可以很簡單的和其他應(yīng)用的結(jié)合，類似 NodeJS, Redis 或者 MySQL。
簡單來說，可以使用 MinIO 來搭建一個對象存儲服務(wù)，而且 MinIO 的 Java 客戶端和亞馬遜的 S3 云存儲服務(wù)客戶端接口兼容，換句話說，你會往 MinIO 上存數(shù)據(jù)，就會往 S3 上存數(shù)據(jù)。
MinIO 的特點(diǎn)：
- 兼容 Amazon S3：可以使用 MinIO SDK，MinIO Client，AWS SDK 和 AWS CLI 訪問 MinIO 服務(wù)器。
- 較強(qiáng)的數(shù)據(jù)保護(hù)能力：MinIO 使用 Minio Erasure Code 來防止硬件故障。
- 高度可用：MinIO 服務(wù)器可以容忍分布式設(shè)置中高達(dá)（N/2)-1 節(jié)點(diǎn)故障。
- 支持 Lambda 計(jì)算。
- 具有加密和防篡改功能：MinIO 為加密數(shù)據(jù)提供了機(jī)密性，完整性和真實(shí)性保證，而且性能開銷微乎其微。使用 AES-256-GCM，ChaCha20-Poly1305 和 AES-CBC 支持服務(wù)器端和客戶端加密。
- 可對接后端存儲：除了 MinIO 自己的文件系統(tǒng)，還支持 DAS、 JBODs、NAS、Google 云存儲和 Azure Blob 存儲。
2. MinIO 安裝
不廢話了，趕緊裝一個體驗(yàn)一把吧。
為了省事，咱們就直接用 docker 來安裝吧，如果你對 docker 還不熟悉，公眾號后臺回復(fù) docker 獲取松哥的 docker 教程。
我們執(zhí)行如下命令，安裝 MinIO：
docker run -p 9000:9000 -p 9001:9001 -d minio/minio server /data --console-address ":9000" --address ":9001"這個啟動命令中配置了兩個端口：console-address 是后臺管理的網(wǎng)頁端口；address 則是 API 通信端口。以上面的啟動腳本為例，項(xiàng)目啟動成功后，網(wǎng)頁上的訪問端口是 9000，如果我們通過 Java 代碼上傳文件，通信端口則是 9001。
項(xiàng)目啟動成功后，瀏覽器地址欄輸入 http://127.0.0.1:9000/login 即可訪問到 MinIO 的后端頁面：
圖片
默認(rèn)的登錄用戶名和密碼均為 minioadmin。
登錄成功之后，我們首先創(chuàng)建一個 bucket，將來我們上傳的文件都處于 bucket 之中，如下：
圖片
圖片
創(chuàng)建成功之后，我們還需要設(shè)置一下桶的讀取權(quán)限，確保文件將來上傳成功之后可以讀取到，點(diǎn)擊左上角的設(shè)置按鈕進(jìn)行設(shè)置，如下：
圖片
設(shè)置完成后，接下來我們就可以往這個桶中上傳資源了，如下圖：
圖片
上傳完成后，就可以看到剛剛上傳的文件了：
圖片
上傳成功后，點(diǎn)擊文件，然后點(diǎn)擊右邊的 Share 按鈕會彈出來文件的訪問鏈接，由于我們已經(jīng)設(shè)置了文件可讀，因此可以不用管這里的鏈接有效期了，直接通過路徑的前面部分就可以訪問到剛剛上傳的圖片了，如下：
圖片
圖片
現(xiàn)在文件就可上傳可訪問了。是不是比 FastDFS 容易多了！
不過前面這種安裝方式其實(shí)有點(diǎn)小問題，因?yàn)槲覀儧]有為 docker 容器設(shè)置數(shù)據(jù)卷，所以如果你把 docker 容器不小心刪除了，那么數(shù)據(jù)也就沒了！
所以我們要設(shè)置數(shù)據(jù)卷。
修正后的 docker 腳本如下：
docker run -p 9000:9000 -p 9001:9001 -d --name minio -v /Users/sang/minio/data:/data -v /Users/sang/minio/config:/root/.minio -e "MINIO_ROOT_USER=javaboy" -e "MINIO_ROOT_PASSWORD=123@45678" minio/minio server /data --console-address ":9000" --address ":9001"主要是加了數(shù)據(jù)卷映射功能，將 MinIO 的數(shù)據(jù)和配置文件映射到宿主機(jī)上，這樣將來即使容器刪除了，數(shù)據(jù)也都還在。
注意上面也自定義了登錄用戶名和密碼。
按照上面的命令，重新創(chuàng)建容器之后，我們也創(chuàng)建一個桶并上傳文件，上傳成功之后，我們就可以在本地對應(yīng)的文件夾看到我們上傳的文件，如下：
圖片
3. 整合 Spring Boot
接下來我們再來看看在 Spring Boot 中如何玩 MinIO。
首先我們創(chuàng)建一個 Spring Boot 項(xiàng)目，引入 Web 依賴。
項(xiàng)目創(chuàng)建成功之后，我們再來手動添加一下 MinIO 的依賴，如下：
<dependency>
<groupId>io.minio</groupId>
<artifactId>minio</artifactId>
<version>8.2.1</version>
</dependency>接下來我們來配置一下 application.yaml，配置一下文件上傳所需要的基本信息：
minio:
endpoint: http://localhost:9001
accessKey: javaboy
secretKey: 123@45678
nginxHost: http://local.javaboy.org:9001這里四個屬性：
- endpoint：這是 MinIO 的 API 通信地址。
- accessKey 和 secretKey 是通信的用戶名和密碼，這跟網(wǎng)頁上登錄時候的用戶名密碼一致。
- nginxHost：這個配置用來生成上傳文件的訪問路徑。對于這個路徑，有的小伙伴可能會有疑問，nginxHost 不就是 endpoint 嗎？為什么還要單獨(dú)配置？因?yàn)閷τ谖募?wù)器而言，我們上傳文件是通過 MinIO，但是訪問的時候不一定通過 MinIO，我們可能會自己搭建一個 Nginx 服務(wù)器，通過 Nginx 服務(wù)器來訪問上傳后的資源，大家知道 Nginx 非常擅長于做這個事情，效率非常高。所以這里的 nginxHost 其實(shí)是指 Nginx 的訪問路徑。
接下來我們提供一個 MinioProperties 來接收這里的四個屬性，如下：
@ConfigurationProperties(prefix = "minio")
public class MinioProperties {
/**
* 連接地址
*/
private String endpoint;
/**
* 用戶名
*/
private String accessKey;
/**
* 密碼
*/
private String secretKey;
/**
* 域名
*/
private String nginxHost;
public String getEndpoint() {
return endpoint;
}
public void setEndpoint(String endpoint) {
this.endpoint = endpoint;
}
public String getAccessKey() {
return accessKey;
}
public void setAccessKey(String accessKey) {
this.accessKey = accessKey;
}
public String getSecretKey() {
return secretKey;
}
public void setSecretKey(String secretKey) {
this.secretKey = secretKey;
}
public String getNginxHost() {
return nginxHost;
}
public void setNginxHost(String nginxHost) {
this.nginxHost = nginxHost;
}
}將 application.yaml 中相關(guān)的配置注入到這個配置類中來。
接下來我們需要提供一個 MinIOClient，通過這個客戶端工具可以操作 MinIO，如下：
@Configuration
@EnableConfigurationProperties(MinioProperties.class)
public class MinioConfig {
@Autowired
private MinioProperties minioProperties;
/**
* 獲取MinioClient
*/
@Bean
public MinioClient minioClient() {
return MinioClient.builder()
.endpoint(minioProperties.getEndpoint())
.credentials(minioProperties.getAccessKey(), minioProperties.getSecretKey())
.build();
}
}這個也沒啥好說的，傳入通信地址以及用戶名密碼，就可以構(gòu)建出一個 MinioClient 出來。
當(dāng)文件上傳成功之后，我們可以通過 MinIO 去訪問，也可以通過 Nginx 訪問，所以接下來我們就需要提供一個類，來封裝這兩個地址：
public class UploadResponse {
private String minIoUrl;
private String nginxUrl;
public UploadResponse() {
}
public UploadResponse(String minIoUrl, String nginxUrl) {
this.minIoUrl = minIoUrl;
this.nginxUrl = nginxUrl;
}
public String getMinIoUrl() {
return minIoUrl;
}
public void setMinIoUrl(String minIoUrl) {
this.minIoUrl = minIoUrl;
}
public String getNginxUrl() {
return nginxUrl;
}
public void setNginxUrl(String nginxUrl) {
this.nginxUrl = nginxUrl;
}
}再來提供一個 MinIO 文件上傳工具類：
@Component
public class MinioUtil {
@Autowired
private MinioProperties minioProperties;
@Autowired
private MinioClient client;
/**
* 創(chuàng)建bucket
*/
public void createBucket(String bucketName) throws Exception {
if (!client.bucketExists(BucketExistsArgs.builder().bucket(bucketName).build())) {
client.makeBucket(MakeBucketArgs.builder().bucket(bucketName).build());
}
}
/**
* 上傳文件
*/
public UploadResponse uploadFile(MultipartFile file, String bucketName) throws Exception {
//判斷文件是否為空
if (null == file || 0 == file.getSize()) {
return null;
}
//判斷存儲桶是否存在 不存在則創(chuàng)建
createBucket(bucketName);
//文件名
String originalFilename = file.getOriginalFilename();
//新的文件名 = 存儲桶文件名_時間戳.后綴名
assert originalFilename != null;
SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd");
String fileName = bucketName + "_" +
System.currentTimeMillis() + "_" + format.format(new Date()) + "_" + new Random().nextInt(1000) +
originalFilename.substring(originalFilename.lastIndexOf("."));
//開始上傳
client.putObject(
PutObjectArgs.builder().bucket(bucketName).object(fileName).stream(
file.getInputStream(), file.getSize(), -1)
.contentType(file.getContentType())
.build());
String url = minioProperties.getEndpoint() + "/" + bucketName + "/" + fileName;
String urlHost = minioProperties.getNginxHost() + "/" + bucketName + "/" + fileName;
return new UploadResponse(url, urlHost);
}
/**
* 獲取全部bucket
*
* @return
*/
public List<Bucket> getAllBuckets() throws Exception {
return client.listBuckets();
}
/**
* 根據(jù)bucketName獲取信息
*
* @param bucketName bucket名稱
*/
public Optional<Bucket> getBucket(String bucketName) throws IOException, InvalidKeyException, NoSuchAlgorithmException, InsufficientDataException, InvalidResponseException, InternalException, ErrorResponseException, ServerException, XmlParserException, ServerException {
return client.listBuckets().stream().filter(b -> b.name().equals(bucketName)).findFirst();
}
/**
* 根據(jù)bucketName刪除信息
*
* @param bucketName bucket名稱
*/
public void removeBucket(String bucketName) throws Exception {
client.removeBucket(RemoveBucketArgs.builder().bucket(bucketName).build());
}
/**
* 獲取?件外鏈
*
* @param bucketName bucket名稱
* @param objectName ?件名稱
* @param expires 過期時間 <=7
* @return url
*/
public String getObjectURL(String bucketName, String objectName, Integer expires) throws Exception {
return client.getPresignedObjectUrl(GetPresignedObjectUrlArgs.builder().bucket(bucketName).object(objectName).expiry(expires).build());
}
/**
* 獲取?件
*
* @param bucketName bucket名稱
* @param objectName ?件名稱
* @return ?進(jìn)制流
*/
public InputStream getObject(String bucketName, String objectName) throws Exception {
return client.getObject(GetObjectArgs.builder().bucket(bucketName).object(objectName).build());
}
/**
* 上傳?件
*
* @param bucketName bucket名稱
* @param objectName ?件名稱
* @param stream ?件流
* @throws Exception https://docs.minio.io/cn/java-client-api-reference.html#putObject
*/
public void putObject(String bucketName, String objectName, InputStream stream) throws
Exception {
client.putObject(PutObjectArgs.builder().bucket(bucketName).object(objectName).stream(stream, stream.available(), -1).contentType(objectName.substring(objectName.lastIndexOf("."))).build());
}
/**
* 上傳?件
*
* @param bucketName bucket名稱
* @param objectName ?件名稱
* @param stream ?件流
* @param size ??
* @param contextType 類型
* @throws Exception https://docs.minio.io/cn/java-client-api-reference.html#putObject
*/
public void putObject(String bucketName, String objectName, InputStream stream, long
size, String contextType) throws Exception {
client.putObject(PutObjectArgs.builder().bucket(bucketName).object(objectName).stream(stream, size, -1).contentType(contextType).build());
}
/**
* 獲取?件信息
*
* @param bucketName bucket名稱
* @param objectName ?件名稱
* @throws Exception https://docs.minio.io/cn/java-client-api-reference.html#statObject
*/
public StatObjectResponse getObjectInfo(String bucketName, String objectName) throws Exception {
return client.statObject(StatObjectArgs.builder().bucket(bucketName).object(objectName).build());
}
/**
* 刪除?件
*
* @param bucketName bucket名稱
* @param objectName ?件名稱
* @throws Exception https://docs.minio.io/cn/java-client-apireference.html#removeObject
*/
public void removeObject(String bucketName, String objectName) throws Exception {
client.removeObject(RemoveObjectArgs.builder().bucket(bucketName).object(objectName).build());
}
}都是一些常規(guī)的 API 調(diào)用，我就不逐行解釋了，接下來我們來一個文件上傳接口：
@RestController
public class FileUploadController {
@Autowired
MinioUtil minioUtil;
@PostMapping("/upload")
public String fileUpload(MultipartFile file) throws Exception {
UploadResponse bucket01 = minioUtil.uploadFile(file, "bucket01");
System.out.println("bucket01.getMinIoUrl() = " + bucket01.getMinIoUrl());
System.out.println("bucket01.getNginxUrl() = " + bucket01.getNginxUrl());
return bucket01.getMinIoUrl();
}
}好啦，大功告成。
接下來啟動 Spring Boot 項(xiàng)目，然后調(diào)用這個接口上傳文件，上傳成功后，控制臺會打印如下信息：
這就表示文件上傳成功了。
4. 配置 nginx
前面提到了 MinIO 可以結(jié)合 Nginx 來使用，那我們這里就來配一配 Nginx 看看。
為了省事，Nginx 我也選擇安裝到 docker 容器中，但是前面安裝 MinIO 時，我們已經(jīng)做了數(shù)據(jù)卷映射，即上傳到 MinIO 的文件實(shí)際上是保存在宿主機(jī)的，所以現(xiàn)在也得給 Nginx 配置數(shù)據(jù)卷，將來讓 Nginx 也去 /Users/sang/minio/data 路徑下查找文件。
Nginx 安裝指令如下：
docker run --name nginx01 -p 8888:80 -v /Users/sang/minio/data:/usr/share/nginx/html:ro -d nginx這里兩個關(guān)鍵點(diǎn)：
- 設(shè)置 Nginx 端口為 8888。
- 將 MinIO 映射到宿主機(jī)的數(shù)據(jù)卷，再次掛載到 Nginx 上去。
大家知道，默認(rèn)情況下，當(dāng)我們訪問 Nginx 的時候，Nginx 給我們展示出來的數(shù)據(jù)其實(shí)就是 /usr/share/nginx/html 目錄下的，現(xiàn)在該目錄其實(shí)就相當(dāng)于我宿主機(jī)的 /Users/sang/minio/data 目錄，所以我現(xiàn)在都不用修改 Nginx 的配置了，裝好之后直接使用 Nginx 即可。
好啦，接下來我們修改一下 application.yaml，如下：
minio:
endpoint: http://localhost:9001
accessKey: javaboy
secretKey: 123@45678
nginxHost: http://local.javaboy.org:8888改完之后，再次上傳文件，此時打印出來的文件訪問路徑如下：
圖片
現(xiàn)在我們通過這個 Nginx 路徑也能訪問到剛剛上傳的文件了。
