命令行上传文件到SkyDrive的研究

0x01 背景
我比较怕被查水表，所以常年混迹在国外的网络。但是从国外拖数据回来时特别痛苦，下载速度只有几十K每秒，碰到几个G的数据就需要挂通宵了，而且根据个人的经验，你和目标的连接时间越长，被Kick Out的风险就越大。
于是乎就想是否可以将数据先快速转移到某个地方，然后再从那个地方慢慢拖回来，这样风险就小很多了，比如先弄到网盘上。这个想法在国外的可行性是很高的，他们的网速上行和下行是一样的，也就是说下载速度有2M/s时，上传也是这个速度，而不是像国内下载2M/s,上传只有可怜的50K/s（这里要强烈的谴责腐朽落后的美帝国主义）。而且碰到大型的网络，上行速度甚至可以到几十M/s，这样几个G的数据可以在短短几分钟就转移走。
一开始我在Google开始找相关的资料，看是否有人做过相同的事情，要是有现成的我就懒得自己去动手了，我一直认为重复解决别人已经解决的问题就是在浪费时间。一番搜索还真找到个相关的东西，是DropBox命令行上传的bash脚本，传送门：http://www.andreafabrizi.it/?dropbox_uploader
这个脚本是在linux下面使用的，可以利用CURL来上传、下载DropBox上面的文件，最主要的是完全在命令行界面下面操作。
我分析了下脚本，是利用了DropBox开放的REST API进行操作。
这里关系到OAUTH和REST两个东西，想了解的可以去看看相关的原理。而且我个人也建议在看这篇文章之前或之后去了解下OAuth和REST。OAuth 2.0有份中文译本：http://wenku.baidu.com/view/b37ed7260722192e4536f66e.html
简单来讲OAUTH提供了一个用户资源授权的标准，然后REST通过HTTP方法GET、POST、PUT和DELETE来操作资源。
GET，PUT和POST这种动作用CURL.exe就可以实现，所以我们完全可以用CURL.exe来进行REST的相关操作，这样我们就可以在命令行下面操作网盘了，可以上传、下载和删除网盘上的文件
DropBox的相关的操作可以直接参照那份bash脚本，我是把它改写成了C语言版本的，可以在windows下面使用。

本着探索的精神，我想研究看看SkyDrive能不能这样使用，找了一些资料后开始实验。

0x02 SkyDrive的OAuth认证

首先注册个live账号，[email protected] 注意注册的时候年龄一定要大，最好大于18岁，出生年份选早点，不然需要监管人同意上网神马的
注册好后登陆开发者网站:https://manage.dev.live.com/

创建应用
创建一个应用，名字随便填，我这里填cli-uploader,然后进入到应用设置:

注意这里有个重定向域，随便填一个域名，不需要是存在的域名，但是要记住这个域名，后面要用来获取授权code，这里我填http://twi1ight.com ，其他设置保存不变，保存
每个应用都有一个客户端ID（CLIENT_ID)和客户端密钥（CLIENT_SECRET)
我这里创建的应用信息：
CLIENT_ID：00000000400E8C58
CLIENT_SECRET：T9282s1TDT29O5HeBsZu30KGqYDXd90l

获取授权code
根据live SDK 开发人员指南：http://msdn.microsoft.com/zh-cn/library/live/hh243641.aspx  
REST进行登录的方式为：
https://login.live.com/oauth20_authorize.srf?client_id=CLIENT_ID&scope=SCOPES&response_type=RESPONSE_TYPE&redirect_uri=REDIRECT_URL
其中CLIENT_ID是之前创建应用时有的。SCOPE是操作域，指明需要操作的对象，详细的操作域信息可以参考这里：
http://msdn.microsoft.com/zh-cn/library/live/hh243646.aspx#wlskydriveupdate
由于我们是要上传文件到skydrive中，需要写的权限，所以这里SCOPE指定为wl.skydrive_update，而不是wl.skydrive。
RESPONSE_TYPE 参数的值被设置为 code，它会请求授权code,这个code后面用来申请ACCESS TOKEN。REDIRECT_URI 参数的值是在用户登录之后，Live Connect 将用户返回到的 URL，这个URL必须和之前应用中的重定向域名一致！

这样一来我的应用中获取授权code的URL将被构造成如下格式：
https://login.live.com/oauth20_authorize.srf?client_id=00000000400E8C58&scope=wl.skydrive_update&response_type=code&redirect_uri=http://twi1ight.com
访问后跳出对话框需要登录,输入账号密码登录成功后需要进行授权
授权后浏览器会跳转到一个URL形如：http://twi1ight.com/?code=7727a82a-600e-b7df-f2c7-03fd6515fb96

后面那一串7727a82a-600e-b7df-f2c7-03fd6515fb96就是这次申请的授权code
当然如果你被电信可耻的劫持了，会跳到114so.cn，那么结果就会是这样的一串：
http://sh.114so.cn/dnsA.aspx?AIMT=http%3A//twi1ight.com/%3Fcode%3D7727a82a-600e-b7df-f2c7-03fd6515fb96&host=twi1ight.com&refer=&server=161&pre=1356073772258
仔细看看还是能找到那串授权code的，从%3D后面到&符号为止。

获取ACCESS TOKEN
根据live SDK 开发人员指南，获取ACCESS_TOKEN的格式需要POST数据包，格式如下：这个很好解决，CURL可以直接POST数据包，将各个数据代入里面，由于CURL在POST数据时，Conten-type默认就是application/x-www-form-urlencoded这种形式，所以就不需要指定--header了，构造的命令格式如下（因为是https，所以加上-k）
curl -k --data "client_id=00000000400E8C58&redirect_uri=http://twi1ight.com&client_secret=T9282s1TDT29O5HeBsZu30KGqYDXd90l&code=7727a82a-600e-b7df-f2c7-03fd6515fb96&grant_type=authorization_code" https://login.live.com/oauth20_token.srf
可以直接在命令行下执行这个，就获得了一个ACCESS_TOKEN：

但是这样复制出来的文字是断行的，我推荐直接输出到一个文件中，那样是不断行的。
OK，绕了这么久，终于搞到最终的ACCESS_TOKEN，这样我们就可以开始上传文件了

0x03 上传文件

根据MSDN：http://msdn.microsoft.com/zh-cn/library/live/hh826531.aspx#uploading_files
REST上传文件的格式如下：其中HelloWorld.txt是上传的文件名字，"Hello, World!"是文件内容
根据这个格式，我先用BurpSuite试一下，构造的数据包与结果如图：


上传成功，SkyDrive上面有了Twi1ight.txt这个文件

但是有个问题，这里是上传的TXT，那如果是个压缩包或者图片什么的，就没办法用BurpSuite上传。
这时候就该CURL出场了。
根据CURL的使用说明：http://curl.haxx.se/docs/httpscripting.html  
curl的--upload-file选项用的就是PUT方式，于是乎结合起来用CURL上传文件到SkyDrive应该是这样：

curl --progress-bar -k -i --upload-file T00ls.Net-Twi1ight.txt  https://apis.live.net/v5.0/me/skydrive/files/T00ls.Net-Twi1ight.txt?access_token=ACCESS_TOKEN

去SkyDrive的WEB界面看看结果：

OK，上传成功！
测试压缩包也是成功的，而且不会损坏压缩包。
这就说明用CURL在命令行下操作SkyDrive是可行的

0x04 存在的问题

DropBox的ACCESS TOKEN配置好后可以一直使用，是不会过期的，所以程序配置好后就可以终生使用了。
但是Skydrive不像DropBox，SkyDrive的ACCESS TOKEN是会过期的，有效期默认只有1个小时；不单如此，连授权code都是会过期的，这样的话每次要上传文件都必须要重新进行一系列的认证：获取授权码，登陆web授权，获取ACCESS TOKEN……特别麻烦

根据MSDN以及OAuth标准中的相关信息，我发现其实是有个REFRESH TOKEN存在的，而且REFRESH TOKEN 是长期有效的，当我们的ACCESS TOKEN过期时，可以直接使用REFRESH TOKEN来获取一个新的ACCESS TOKEN，就不需要再去获取授权code，然后用授权code获取ACCESS TOKEN这样了。
根据OAuth认证流程：http://msdn.microsoft.com/zh-cn/library/live/hh243647.aspx#authcodegrant
如果我们在获取授权code的时候指定了wl.offline_access 作用域，则还会返回一个刷新令牌（REFRESH TOKEN）。

那么现在我们需要申请一个REFRESH TOKEN时，就要指定两个作用域：wl.skydrive_update和wl.offline_access，多个作用域之前用空格分开，获取授权code时的URL就会变成这样：
https://login.live.com/oauth20_authorize.srf?client_id=00000000400E8C58&scope=wl.skydrive_update%20wl.offline_access&response_type=code&redirect_uri=http://twi1ight.com

访问这个URL，登陆后跳出来对话框，需要授权：

注意：这里是随时访问，可以和之前那个授权比较一下，是不一样的！

确定后同样可以获得一个授权code。
然后利用这个授权code和之前一样的步骤去申请ACCESS TOKEN.


注意这时候的结果，有一个ACESS TOKEN，同时也有一个REFRESH TOKEN，注意保存好这个REFRESH TOKEN，这样以后就不用这样麻烦的认证了。

然后我们尝试用这个REFRESH TOKEN去获取一个ACCESS TOKEN，根据OAuth认证流程：http://msdn.microsoft.com/zh-cn/library/live/hh243647.aspx#authcodegrant
用刷新令牌获取访问令牌（ACCESS TOKEN）的HTTP包格式如下：所以CURL命令格式就是：
curl -k --data “client_id=CLIENT_ID&client_secret=CLIENT_SECRET&redirect_uri=REDIRECT_URI&grant_type=refresh_token&refresh_token=REFRESH_TOKEN”  https://login.live.com/oauth20_token.srf



返回了一个ACCESS TOKEN，同时还有一个新的REFRESH TOKEN
这里我也疑惑这个新的RESFRESH TOKEN，是不是这样老的就不能用了，然后Google查了一下，得到这个结果：
http://social.msdn.microsoft.com/Forums/en-US/messengerconnect/thread/5f9bfda7-98d7-45b1-a1e4-2da9195b085e
这就是说新的老的都能用，但是每个REFRESH TOKEN实际上还是有有效期的，是一年，当老的REFRESH TOKEN快要到期时你可以使用新的，或者你可以每次都记录新的REFRESH TOKEN然后把老的丢掉。

0x05 自动化

由前面的内容可以看到，要在命令行下面进行这些动作还是很麻烦的，需要动态的构造各种URL，各种长，各种麻烦。
为了不要每次都做这么多繁杂的事情，所以我就写了个简单的bat来自动干这些事情。

提供三个选项：-g -f -m
-g是通过REFRESH TOKEN来获取ACCESS TOKEN
-f是上传单个文件
-m是上传指定后缀的文件,比如rar
有个限定就是指定的文件必须和这个bat处在同一目录

获取ACCESS TOKEN


上传单个文件的截图：


0x06 杂谈

SkyDrive的单个文件上传大小限制是100M，所以在压缩文件时注意要指定分卷压缩。
DropBox的大小限制是300M，但是当网速不够快，300M的上传时间就会比较久，而REST是无状态的，有可能会导致服务器认为这个上传已经取消了，当你用CURL上传完毕时可能服务器已经不处理这个文件了，就导致上传失败，所以DropBox的上传我一般也会分卷压缩100M或者150M，防止意外。
这个东西对于像我这种常年在国外的网络混的人可能用处更大一些，比如有时候我需要离线抓取域的hash，ntds.dit数据库可能会有几百M甚至几个G，下载回来的话需要的时间太久，我就会用RAR在命令行下面分卷压缩，上传到DropBox，也就几分钟的事情，然后再挂个VPN，从DropBox把数据下载回来。
我手头的一个棒子的vpn在DropBox的下载速度可以达到2M/s，单个文件的下载速度可以到750k/s左右，为了防止vpn服务器被我拖垮，我一般同时下载两个文件，速度在1.5M/s上下，这样中转一下，一般1个G的文件我这里10分钟多一点就下载好了，如果是直接从国外下载就可能需要好几个小时了。


我看到国内百度和腾讯也有OAuth和REST相关的API开放，本来也想去试试看的，无奈百度的开发者身份需要申请，腾讯的也需要填一堆什么实名认证的东西，相当之麻烦，遂放弃。不过就国内这上传速度，估计真搞出来了也是理论性强于实用性，聊表安慰吧。


T00ls-Skydrive：