Skip to content

Commit d343de4

Browse files
committed
New post: AWS海外数据回传国内的一种方式
1 parent 0e5f727 commit d343de4

File tree

3 files changed

+75
-38
lines changed

3 files changed

+75
-38
lines changed
Lines changed: 59 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,59 @@
1+
---
2+
layout: post
3+
categories: original
4+
title: "AWS海外数据回传国内的一种方式"
5+
author: 立泉
6+
mention: YT-DLP OSS 内网专线
7+
date: 2025-02-11 +0800
8+
description: 取巧的方式是利用云服务商不同地区数据中心之间的高速内网专线做中转,比如阿里云在世界各地都有边缘节点。从首尔上传视频到杭州区域的OSS,会连接到附近的边缘节点通过内网跨越国境传输到杭州,不是通过拥堵的公网所以速度极快。
9+
cover:
10+
tags: Code 云计算 AWS EC2 阿里云 OSS 对象存储 YT-DLP
11+
---
12+
13+
近期对北美版本的马自达`MX-5`感兴趣,在`YouTube`上找到一支从静态外观内饰到动态敞篷试驾非常详细的[体验视频](https://www.youtube.com/watch?v=2rR_SK7yjhk){: target="_blank" },4K画质下车辆的做工细节清晰可见,打算下载下来慢慢看。
14+
15+
不过考虑到4K视频的巨大体积和我不多的`VPN`流量,并没有直接用本机的`Downie`下载,而是在那台承载这个博客网站的`AWS`首尔`EC2`服务器上执行下载操作再传回国内。
16+
17+
## 下载
18+
19+
下载`YouTube`视频有很多开源工具,[YT-DLP](https://github.com/yt-dlp/yt-dlp){: target="_blank" }是其中比较流行的一个,支持包括`YouTube`在内的数千个网站。
20+
21+
要注意的是它在下载`YouTube`视频时可能会触发对方的机器人验证,需要导入登录过`YouTube`的浏览器`Cookies`来避免这种下载失败的情况。可以使用`Chrome`[Get cookies.txt LOCALLY](https://chromewebstore.google.com/detail/get-cookiestxt-locally/cclelndahbckbenkjhflpdbgdldlbecc)插件导出指定站点的`Cookies`,传输到`EC2`上。
22+
23+
`YT-DLP`默认下载质量最高的视频资源,但`YouTube`是音视频分离的,这样会下载到无声视频,所以必须手动选择要下载的音频和视频再由它自动合并。
24+
25+
```sh
26+
# 列出解析到的资源
27+
yt-dlp -F [url] --cookies yt-dlp/youtube_cookies.txt
28+
```
29+
30+
![](https://apqx.oss-cn-hangzhou.aliyuncs.com/blog/original/20250211/yt_dlp_01_thumb.webp){: loading="lazy" class="clickable clickShowOriginalImg" alt="YT-DLP list resources" }
31+
32+
下载指定的资源,自动合并:
33+
34+
```sh
35+
yt-dlp -f [videoId]+[audioId] [url] --cookies yt-dlp/youtube_cookies.txt
36+
```
37+
38+
或由`YT-DLP`自主选择最佳资源:
39+
40+
```sh
41+
yt-dlp -f bestvideo+bestaudio [url] --cookies yt-dlp/youtube_cookies.txt
42+
```
43+
44+
`AWS`首尔下载`YouTube`视频可以达到20MB/s的速度:
45+
46+
![](https://apqx.oss-cn-hangzhou.aliyuncs.com/blog/original/20250211/yt_dlp_02_thumb.webp){: loading="lazy" class="clickable clickShowOriginalImg" alt="YT-DLP download" }
47+
48+
如上用海外服务器下载`YouTube`视频是很轻松的,但如何把这么大的视频传回国内则是另一个问题。
49+
50+
## 回传
51+
52+
尝试通过`SSH``FTP`直连传输,但因为众所周知的原因速度很慢,要传好几个小时。
53+
54+
一种取巧的方式是利用云服务商不同地区数据中心之间的高速内网专线做中转,比如一直在用的`阿里云`,它在世界各地都有边缘节点,各个节点间一定是用最优质的线路连接的。
55+
56+
从首尔上传视频到`杭州区域的OSS`,会连接到`阿里云`在附近的边缘节点通过内网跨越国境传输到杭州,不通过拥堵的公网所以速度极快。上面是用`ossutil`上传文件,速度达到80MB/s。
57+
58+
只是需要支付`OSS`的存储和传输费用,几元而已。
59+

_posts/repost/2022-05-27-为什么「师兄」是我最讨厌的称谓.md

Lines changed: 0 additions & 38 deletions
This file was deleted.

page/share.html

Lines changed: 16 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -36,6 +36,22 @@
3636
提取码: r47q
3737
</p>
3838

39+
<p><strong class="no-shadow">20250607浙昆《牡丹亭·闹学》剧照</strong></p>
40+
<p class="no-justify em-color">
41+
张唐逍 吴心怡 王苏鹏<br/>
42+
浙江非遗馆<br/>
43+
阿里云盘:<a href="https://www.alipan.com/s/qvoqt7VbsNJ" target="_blank">点击链接</a><br/>
44+
提取码: cq17
45+
</p>
46+
47+
<p><strong class="no-shadow">20250607浙昆《货郎旦·女弹》剧照</strong></p>
48+
<p class="no-justify em-color">
49+
楼心怡 程平安 周沫 王翼骅<br/>
50+
浙江非遗馆<br/>
51+
阿里云盘:<a href="https://www.alipan.com/s/zhnWX1D14La" target="_blank">点击链接</a><br/>
52+
提取码: gj35
53+
</p>
54+
3955
<p><strong class="no-shadow">20250214浙昆《西厢记》剧照</strong></p>
4056
<p class="no-justify em-color">
4157
施洋 方莛玉 罗轩 徐立衡 王翼骅<br/>

0 commit comments

Comments
 (0)