用Golang写个爬虫，把11.11火箭vs马刺视频直播给抓下来—顺便聊聊我踩过的坑

为什么我非要用Go写这个直播抓取工具

昨晚刷手机看到“11.11火箭vs马刺视频直播”这个词条挂在热搜上，我脑子一热，凌晨三点爬起来打开电脑，你说大半夜不睡觉搞这个图啥？其实我就是想试试Golang的并发模型到底能不能扛住直播流这种高频数据，结果一折腾就是四个小时，咖啡喝了三杯，代码改了七版——但最后跑起来那一刻,那种爽感真的比看直播还带劲。

写这篇文章不是教你怎么“偷”直播信号，而是想分享我用Go语言处理实时视频流的真实过程，踩过的坑、绕过的弯，还有那些调试到怀疑人生的瞬间，你要是也对Golang做流媒体处理感兴趣，或者单纯想看看程序员怎么“看球”,那咱可以接着往下聊。

先搞清楚：火箭vs马刺这场直播，技术难点到底在哪

咱们得先摆正心态。“11.11火箭vs马刺视频直播” 这个关键词，表面上是场篮球赛，但对写代码的人来说,它代表的是：

说实话，火箭队那帮家伙的跑位我比解说员还熟，但“马刺的防守阵型”对应到代码里就是缓冲队列的容量设计——你看比赛看的是攻防转换,我看的是goroutine调度。

第一步：用net/http假装自己是浏览器

Go的net/http库是真的好用，但直接请求视频流地址肯定被拒,你得先把请求头伪装得像Chrome：

req, _ := http.NewRequest("GET", liveURL, nil)
req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/120.0")
req.Header.Set("Referer", "https://sports.qq.com/")
client := &http.Client{
    Timeout: 15 * time.Second,
}
resp, err := client.Do(req)

这里有个小细节：NBA的直播流通常会给你一个m3u8索引文件，里面列了不同清晰度的视频切片地址，你要做的第一步是拿到这个索引,然后根据带宽自动选一个合适的码率。

我当时就是栽在Referer这里，不带这个头返回403，带上了立马就200。跟火箭队的三分球一样，差一点就是天壤之别。

第二步：解析m3u8切片——这可比看马刺的战术板有意思

m3u8文件本质就是一堆.ts切片的地址列表，火箭vs马刺的直播，如果开蓝光画质，每4秒切一个文件,一场比赛下来大概有2700个切片。

我用Go写了个简单的解析器：

func parseM3U8(data []byte) []string {
    var segments []string
    scanner := bufio.NewScanner(bytes.NewReader(data))
    for scanner.Scan() {
        line := scanner.Text()
        if strings.HasPrefix(line, "#EXTINF") {
            // 下一行就是实际的ts文件地址
            segments = append(segments, scanner.Text())
        }
    }
    return segments
}

但不能简单地顺序下载！因为直播流的切片是有时间窗口的，过了这个窗口服务器就删了，所以你得用并发的生产者-消费者模式：一个goroutine专门盯着m3u8文件的变化，有新切片就扔进channel，另外几个worker goroutine负责下载。

这跟马刺的团队篮球是一个道理——每个人干好自己的活，球（数据）自然流转顺畅。

第三步：goroutine池——我的“轮换阵容”

说到并发，我得诚实地讲：我第一次写出来的代码是灾难，无脑开了50个goroutine去拉切片，结果把服务器搞得像火箭队第四节体力崩盘——连接重置、超时、内存泄漏全来了。

后来我学乖了，用带缓冲的channel做工作池：

jobs := make(chan string, 100)
sem := make(chan struct{}, 10) // 最多同时10个下载
for _, seg := range segments {
    jobs <- seg
}
for i := 0; i < 10; i++ {
    go func() {
        for seg := range jobs {
            sem <- struct{}{} // 占位
            download(seg)
            <-sem // 释放
        }
    }()
}

10个并发是经验值，火箭主帅乌度卡会控制球员上场时间，咱也得控制并发，不然反手给自己来个“技术犯规”——服务器直接封IP。

第四步：实时监控进度——像看比分一样看日志

直播是实时的，你不能等到所有切片都下完才处理,我写了个简单的监控函数：

func monitorProgress(total int, done chan int) {
    ticker := time.NewTicker(5 * time.Second)
    for {
        select {
        case <-ticker.C:
            count := len(done)
            pct := float64(count) / float64(total) * 100
            log.Printf("已下载: %d/%d (%.1f%%)", count, total, pct)
        }
    }
}

你看这日志输出，比看比分板还揪心——“已下载: 1984/2732 (72.6%)”,这数字跟马刺队第三节的领先优势一样让人紧张。

第五步：断点续传——别学那种“看一半洗洗睡”的烂尾

谁也不想下到一半突然网络抖动，前面全废了，Go处理这个很优雅，你只要记住每个切片下载完后把文件名写入一个done.log：

func resumeSupport() {
    // 启动时读取done.log
    done := make(map[string]bool)
    file, _ := os.Open("done.log")
    scanner := bufio.NewScanner(file)
    for scanner.Scan() {
        done[scanner.Text()] = true
    }
    // 跳过已下载的切片
    for _, seg := range segments {
        if !done[seg] {
            download(seg)
        }
    }
}

跟看直播一样，中场休息暂停一下，回来接着看,不耽误事。

费曼学习法在编程里的应用——我怎么把“火箭vs马刺”讲给GPT听

你可能会问我，写个爬虫跟“费曼学习法”有啥关系？关系大了！费曼的核心是“用大白话讲清楚一件事”。

我试着把这场直播的技术链路讲给我朋友听（他是个不懂编程的体育迷）：

“你看，火箭队进攻就像HTTP请求，马刺队防守就像服务器的反爬机制，你得变速、变向（加header、换IP），才能突破进去拿到数据（视频流），而goroutine呢，就像场上的球员轮换——有人累了就换下去歇歇，始终保持最高的攻防效率。”

他居然听懂了！这才是关键——技术不是拿来炫耀的，是拿来解决实际问题的，所以你看到这篇文章，我不堆术语，就给你看我真实跑过的代码、真实犯过的错。

实际效果：凌晨四点半，我成功“看”到了比赛

最后跑通的那一刻，我电脑屏幕上是一堆.ts文件，加起来大概2.3GB,用ffmpeg合并一下：

ffmpeg -f concat -i filelist.txt -c copy rq_vs_horse.mp4

然后我打开VLC播放，正好看到火箭队那个压哨三分——虽然延迟了10秒，但清晰度到1080P，场面火爆，我泡了杯面，边吃边看，感觉比用浏览器看直播流还爽，因为没广告，没弹窗，纯粹就是篮球本身。

那些我没解决的问题，留给你去折腾

如果你也想试试用Go写类似的工具,有几个方向你可以继续研究：

• 自适应码率切换：我固定用1080P，如果网不好会缓冲，可以写个子协程监控下载速度,自动切到720P。
• 音频轨分离：直播流里有现场原声、解说音轨,用ffmpeg可以抽出来单独存。
• 实时弹幕抓取：这个另说，但基本也是类似思路——WebSocket连上,解析MessagePack格式。

还有，别拿这个去搞付费直播的盗录，咱自己玩玩技术、看看免费公开的直播源就得了，我是拿NBA官方放出的免费海外源测试的，也没存到服务器上,跑完就删。

写到这我看了眼窗外，天都亮了，凌晨的火箭vs马刺应该已经打完了吧？我机器上那些.ts切片还在，就像比赛的草稿记录，你用Go也能干成这事，但记住：工具永远只是工具，真正的快乐在于你搞懂了它背后怎么运转，就像解说员说“马刺的战术执行力强”——你把这四个字翻译成“goroutine调度合理”，是不是瞬间觉得编程和看球也没啥两样？

行了，我得去补觉了，明晚还有快船对掘金，我已经把代码改成支持切换频道了，你呢？要不要也试试？