目录
前言
在网上爬取的小视频(.ts格式)打不开怎么搞？使用IDM下载有时候还会出现
数据受法律保护，IDM无法下载该内容，如何解决？这篇博客就来聊聊如何正确提取m3u8文件里的.ts视频，并合成完整的.mp4格式视频。
1. HLS协议与m3u8文件
HLS，即 H T T P L i v e S t r e a m i n g HTTP\ Live\ Streaming HTTP Live Streaming的缩写，是由苹果公司提出基于HTTP的流媒体网络传输协议。是苹果公司QuickTime X和iPhone软件系统的一部分。它的工作原理是把整个流分成一个个小的基于HTTP的文件来下载，每次只下载一些。当媒体流正在播放时，客户端可以选择从许多不同的备用源中以不同的速率下载同样的资源，允许流媒体会话适应不同的数据速率。在开始一个流媒体会话时，客户端会下载一个包含元数据的扩展 M3U (m3u8) 播放列表文件，用于寻找可用的媒体流。
M3U8是 U n i c o d e Unicode Unicode 版本的 M3U，用 UTF-8 编码。"M3U"和"M3U8"文件都是苹果公司使用的 H T T P L i v e S t r e a m i n g HTTP\ Live\ Streaming HTTP Live Streaming 格式的基础，这种格式可以在 iPhone 和 Macbook 等设备播放。是一种播放多媒体列表的文件格式，文本内容是一系列媒体片段资源，顺序播放该片段资源，即可完整展示多媒体资源。其格式大致如下：# 未加密 #EXTM3U #EXT-X-VERSION:3 #EXT-X-TARGETDURATION:8 #EXT-X-MEDIA-SEQUENCE:0 #EXTINF:4.000000, 1af12fece7a000000.ts #EXTINF:4.320000, 1af12fece7a000001.ts ... #EXTINF:3.800000, 1af12fece7a001155.ts #EXT-X-ENDLIST # 加密 #EXTM3U #EXT-X-VERSION:3 #EXT-X-TARGETDURATION:6 #EXT-X-PLAYLIST-TYPE:VOD #EXT-X-MEDIA-SEQUENCE:0 #EXT-X-KEY:METHOD=AES-128,URI="https://ts1.yuyuangewh.com:9999/20200808/1XdSSbTb/2000kb/hls/key.key" #EXTINF:3, https://ts1.yuyuangewh.com:9999/20200808/1XdSSbTb/2000kb/hls/EUtRrqJU.ts #EXTINF:4.72, https://ts1.yuyuangewh.com:9999/20200808/1XdSSbTb/2000kb/hls/HF90vrrN.ts ... #EXTINF:0.24, https://ts1.yuyuangewh.com:9999/20200808/1XdSSbTb/2000kb/hls/b7ZLcRqT.ts #EXT-X-ENDLIST下面介绍几个
m3u8文件中常见的标签：标签 格式 作用 EXTM3U#EXTM3U表明该文件是一个m3u8文件，每个m3u8文件必须将该标签放置在第一行 EXT-X-VERSIONEXT-X-VERSION:表明该文件是一个m3u8文件，每个m3u8文件必须将该标签放置在第一行 EXT-X-TARGETDURATION#EXT-X-TARGETDURATION:表示每个视频分段最大的时长（单位秒） EXT-X-PLAYLIST-TYPE#EXT-X-PLAYLIST-TYPE:表明流媒体类型， VOD表示该视屏流为点播源，因此服务器不能更改该m3u8文件；EVENT表示该视频流为直播源，因此服务器不能更改或删除该文件任意部分内容，但是可以在文件末尾添加新内容EXT-X-MEDIA-SEQUENCE#EXT-X-MEDIA-SEQUENCE:表示播放列表第一个URL片段文件的序列号，每个媒体片段URL都拥有一个唯一的整型序列号，每个媒体片段序列号按出现顺序依次加 1，如果该标签未指定，则默认序列号从0开始 EXT-X-KEY#EXT-X-KEY:METHOD=AES-128,URI="http:xxxx",IV="xxxx"表明视频流文件的加解密方法， METHOD表示加密方式，URI表示密钥路径，该密钥是一个 16 字节的数据，IV是一个128位的十六进制数值EXTINF#EXTINF:,[ ]</code></td> <td>表示其后 URL 指定的媒体片段时长（单位为秒），<code>duration</code>可以为十进制的整型或者浮点型，其值必须小于或等于<code>EXT-X-TARGETDURATION</code>指定的值</td> </tr> <tr> <td><code>EXT-X-ENDLIST</code></td> <td><code>#EXT-X-ENDLIST</code></td> <td>表明m3u8文件的结束</td> </tr> </tbody> </table> <blockquote> <p> 简书：m3u8 文件格式详解 作者：Whyn</p> </blockquote> <p>2. 第三方库----m3u8</p> <blockquote> <p> <code>m3u8</code>是一个专门用于解析m3u8文件的解析器，有关库的详细操作请参阅<a target="_blank" href="https://pypi.org/project/m3u8/" rel="external nofollow">官方示例</a></p> </blockquote> <pre class="codehilite"><code class="language-python"># 安装m3u8 pip install m3u8</code></pre> <pre class="codehilite"><code class="language-python"># 加载m3u8文件 import m3u8 # 返回一个M3U8对象 playlist = m3u8.load(uri='http://videoserver.com/playlist.m3u8')# url # playlist = m3u8.load(uri='playlist.m3u8')# file print(playlist.segments)# 打印EXT-X-KEY标签和所有的EXTINF标签: print(playlist.target_duration)# 打印EXT-X-TARGETDURATION标签的值 for key in playlist.keys: if key: # 如果视频文件加密，可以查看加密参数 print(key.uri, key.method, key.iv)</code></pre> <p class="maodian"><a name="_label2"></a></p><h2>3. 合成mp4文件</h2> <p style="text-align: center"><img alt="在这里插入图片描述" src="https://img.94e.cn/media/uploads/full/20210720/20210514104902155.png"></p> <p> 本次就以这个视频为例，流程如下：<br> <code>1.</code> 找到视频对应的<code>.m3u8</code>文件<br> <code>2.</code> 解析<code>.m3u8</code>文件，从中提取<code>.ts</code>视频的url<br> <code>3.</code> 下载<code>.ts</code>格式的视频<br> <code>4.</code> 解密<code>.ts</code>格式的视频（如果视频流没有加密，则该步不是必须的）<br> <code>5.</code> 合成<code>.mp4</code>或其他格式的视频</p> <pre class="codehilite"><code class="language-python"># 第1步，我载了m3u8文件，也可以直接使用m3u8文件对应的url playlist = m3u8.load(uri='./data/index.m3u8') # 第2步，提取URL for seg in playlist.segments: print(seg.uri) # 第3步，下载ts视频 with open('xxxxx.ts', 'wb') as f: ts = get_ts(url) f.write(ts) # 第4步，解密 cipher_text = pad(data_to_pad=cipher_text, block_size=AES.block_size) aes = AES.new(key=key, mode=AES.MODE_CBC, iv=iv) cipher_text = aes.decrypt(cipher_text) # 第5步，合成 files = glob.glob(os.path.join('./video', '*.ts')) for file in files: with open(file, 'rb') as fr, open('./video_de/baitoushan.mp4', 'ab') as fw: content = fr.read() fw.write(content )</code></pre> <p class="maodian"><a name="_label3"></a></p><h2>4. 完整代码</h2> <pre class="codehilite"><code class="language-python"># -*- coding: utf-8 -*- # @Time : 2021/5/10 20:11 # @Author : XiaYouRan # @Email : youran.xia@foxmail.com # @File : video.py # @Software: PyCharm from Crypto.Cipher import AES from Crypto.Util.Padding import pad from concurrent.futures import ThreadPoolExecutor import requests import m3u8 import glob import os import time import logging logging.getLogger("urllib3").setLevel(logging.WARNING) def AESDecrypt(cipher_text, key, iv): cipher_text = pad(data_to_pad=cipher_text, block_size=AES.block_size) aes = AES.new(key=key, mode=AES.MODE_CBC, iv=iv) cipher_text = aes.decrypt(cipher_text) # clear_text = unpad(padded_data=cipher_text, block_size=AES.block_size) return cipher_text headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ' 'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'} def get_ts(url): try: response = requests.get(url, verify=False) response.raise_for_status() response.encoding = 'utf-8' return response.content except Exception as err: print(err) return b'' def save_ts(url, index): filename = os.path.join('./video', str(index).zfill(5) + '.ts') with open(filename, 'wb') as f: ts = get_ts(url) f.write(ts) print(filename + ' is ok!') if __name__ == '__main__': playlist = m3u8.load(uri='./data/index.m3u8') # 线程池，引入index可以防止合成时视频发生乱序 with ThreadPoolExecutor(max_workers=10) as pool: for index, seg in enumerate(playlist.segments): pool.submit(save_ts, seg.uri, index) key = get_ts(playlist.keys[-1].uri) files = glob.glob(os.path.join('./video', '*.ts')) for file in files: with open(file, 'rb') as fr, open('./video_de/baitoushan.mp4', 'ab') as fw: content = fr.read() encontent = AESDecrypt(content, key=key, iv=key) fw.write(encontent) print(file + ' is ok!')</code></pre> <p> 下载<code>.ts</code>文件效果如下：</p> <p style="text-align: center"><img alt="在这里插入图片描述" src="https://img.94e.cn/media/uploads/full/20210720/20210514104903156.png"></p> <p> 合成<code>.mp4</code>文件效果如下：</p> <p style="text-align: center"><img alt="在这里插入图片描述" src="https://img.94e.cn/media/uploads/full/20210720/20210514104903157.png"></p> <p style="text-align: center"><img alt="在这里插入图片描述" src="https://img.94e.cn/media/uploads/full/20210720/20210514104903158.gif"></p> <p class="maodian"><a name="_label4"></a></p><h2>5. 结束语</h2> <p>Musicer开源代码仓库</p> <hr> <p> <a target="_blank" href="https://github.com/xiayouran/Musicer" rel="external nofollow">Musicer</a>音乐爬虫已经开源了哦，持续更新中，欢迎来踩来Star哦！ヾ(≧∇≦*)ヾ</p> <p>以上就是Python爬虫之m3u8文件里提取小视频的正确姿势的详细内容，更多关于Python提取m3u8文件小视频的资料请关注python博客其它相关文章！</p></div> <!--<blockquote><p><strong>相关推荐：</strong></p><p>---</p></blockquote>--> </dd> <dd> <div class="reed-biaoqian"> <p> 标签：<a href="/tags/requests/">requests</a> <a href="/tags/urllib/">urllib</a> </p> </div> <a class="shang" href="https://www.94e.cn/info/7155" title="如何用python抓取B站数据"><span class="fanyeyd"><< 上一篇</span></a> <a class="xiat" href="https://www.94e.cn/info/7157" title="PyQt5爬取12306车票信息程序的实现"><span class="fanyeyd">下一篇 >></span></a></dd> </dl> <div id="pingluns"> <div class="pinglun-biaoti"> <h3> <ul> <li>相关文章 </li> </ul> </h3> </div> <div id="contabcomment1"> <div class="xiangguanwen"> <ul> <li><span>2021-07-20</span><a href="/info/7159" title="Python爬虫基础之爬虫的分类知识总结">Python爬虫基础之爬虫的分类知识总结</a></li> <li><span>2021-07-20</span><a href="/info/7158" title="Python爬虫基础讲解之请求">Python爬虫基础讲解之请求</a></li> <li><span>2021-07-20</span><a href="/info/7157" title="PyQt5爬取12306车票信息程序的实现">PyQt5爬取12306车票信息程序的实现</a></li> <li><span>2021-07-20</span><a href="/info/7156" title="Python爬虫之m3u8文件里提取小视频的正确姿势">Python爬虫之m3u8文件里提取小视频的正确姿势</a></li> <li><span>2021-07-20</span><a href="/info/7155" title="如何用python抓取B站数据">如何用python抓取B站数据</a></li> <li><span>2021-07-20</span><a href="/info/7154" title="快速搭建python爬虫管理平台">快速搭建python爬虫管理平台</a></li> <li><span>2021-07-20</span><a href="/info/7153" title="Python爬虫之获取心知天气API实时天气数据并弹窗提醒">Python爬虫之获取心知天气API实时天气数据并弹窗提醒</a></li> <li><span>2021-07-20</span><a href="/info/7152" title="Python爬虫之批量下载喜马拉雅音频">Python爬虫之批量下载喜马拉雅音频</a></li> <li><span>2021-07-20</span><a href="/info/7151" title="python使用pywinauto驱动微信客户端实现公众号爬虫">python使用pywinauto驱动微信客户端实现公众号爬虫</a></li> <li><span>2021-07-20</span><a href="/info/7150" title="Requests什么的通通爬不了的Python超强反爬虫方案！">Requests什么的通通爬不了的Python超强反爬虫方案！</a></li> </ul> </div> <!--<div class="cuowu-tishi"><img src="/static/news/img/alipay.jpg" alt="赞助本站"/></div>--> </div> </div> </div> <div class="cebianlan"> <div class="cebianlan-neibu"> <dl class="rongqi zuijin-reeds" id="divSearchPanel"> <dd> <h3>搜索</h3> </dd> <dt> <div> <form method="get" action="/so/"> <input type="hidden" name="csrfmiddlewaretoken" value="7M2UliwMveTZvURYGhWVRXid3feXdlWEmdIInYJXdnUT0AEnxU0XGVE3CeRh8Seh"> <input type="search" placeholder="搜索本站" name="qinfo" size="12" id="edtSearch" required> <input type="submit" value="提交" name="btnPost" id="btnPost" /> </form> </div> </dt> </dl> <dl class="rongqi zuijin-reeds" id="divPrevious"> <dd> <h3>推荐资源</h3> </dd> <dt> <ul> </ul> </dt> </dl> </div> </div> <div id="dibuer"> <!--<p><a href="/info/1" target="_blank">关于我们</a> | <a href="/info/2" target="_blank">友情链接</a> | <a href="/info/3" target="_blank">免责声明</a> | <a href="/info/4" target="_blank">广告投放</a> </p>--> <p> Powered By <a href="http://www.94e.cn/" target="_blank">python教程网</a> <span style="text-decoration: underline;"></span> <a href="http://www.beian.miit.gov.cn" target="_self">鲁ICP备18013710号</a><br> python博客 - 小白学python最友好的网站! </p> </div> <script type="text/javascript"> jQuery(document).ready(function($){ /* prepend menu icon */ $('#daohangs-around').prepend('<div id="caidan-tubiao"></div>'); /* toggle nav */ $("#caidan-tubiao").on("click", function(){ $("#daohangs").slideToggle(); $(this).toggleClass("active"); }); }); </script> </div> <script src="https://img.94e.cn/static/news/js/util.js" type="text/javascript"></script> <script src="https://img.94e.cn/static/news/js/custom.js" type="text/javascript"></script> <div id='GoTopWithQRcode'> <a id='gttop' onclick='return false;' title='返回顶部'></a></div> <script type="text/javascript" src="https://cdn.bootcdn.net/ajax/libs/jquery/3.1.1/jquery.min.js"></script> <script charset="utf-8" src="https://img.94e.cn/static/tpfd.min.js"></script> <script> var _hmt = _hmt || []; (function() { var hm = document.createElement("script"); hm.src = "https://hm.baidu.com/hm.js?7c21590a53537f53abfca1a24b125bd0"; var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(hm, s); })(); </script> </body> </html>