Slack + Python + CircleCI 做一个免费的自动脚本工具
如果你听过 RSS 或 IFTTT (opens new window)，那你一定很熟悉我要做的东西用途大致是什么了。
Demo 地址：https://github.com/DianQK/my_slack_bot_demo (opens new window)
标题三个关键词对应功能如下：
- Slack：可以理解为类似钉钉、企业微信即时通信工具（颜值最高的应该就是 Slack 了，同时接入 Bot 也比较方便）
- Python：一门编程语言，你可以替换成喜欢的语言实现后面的文章内容抓取等功能（Python 环境配置请选择 https://conda.io/ (opens new window)）
- CircleCI：类似 Jenkins，我们用来执行定时任务（把集成部署的脚本换成我们的抓取脚本）
完整的流程：CircleCI 定时执行脚本，将获取的内容推送到 Slack。
效果如下：
完成的功能如下：
- 少数派新文章定时推送
- TESTV 新视频定时推送（抓取 Bilibili，通过 URL Scheme 直接打开 App）
- 我最爱的歌手有新的演唱会啦
- 自动签到
一起来做个推送 Bot 吧。
# 创建配置 Slack Bot
Slack 地址： https://slack.com/ (opens new window) 注册完毕后就可以开始创建我们的个人 Bot 啦。
地址如下：https://api.slack.com/apps (opens new window)。
在 features and functionality 中建议使用 Bots 功能，使用 Incoming Webhooks 会遇到发送多个 channel 无法自定义头像名称问题。
一起先来试试 Bot 的推送功能：
引入依赖 slackclient：
from slackclient import SlackClient
slack_token = "xoxb-xxx-xxx-xxx"
slack = SlackClient(slack_token)
slack_token 获取地址在 Installed App Settings -> Bot User OAuth Access Token。
测试一下 slack_token 是否配置正确：
slack 推送格式文档见：https://api.slack.com/messaging/composing (opens new window)
slack.api_call(
"chat.postMessage",
channel="#general",
username="my_bot",
icon_url="https://blog.dianqk.org/favicon.png",
text='Hello World!'
)
这一步 Repo 参见：https://github.com/DianQK/my_slack_bot_demo/tree/a627a39594e53082fce6a2fcbd3e5981110638e0 (opens new window)。
# 完成抓取逻辑
哔哩哔哩有可以直接调用的 JSON 接口，代码如下：
import requests
from slack import slack
def fetchLatestTestVideos():
response = requests.get(
url="https://space.bilibili.com/ajax/member/getSubmitVideos",
params={
"mid": "11336264",
"pagesize": "1",
"tid": "0",
"page": "1",
"keyword": "值不值得买",
"order": "pubdate",
}
)
videos = response.json()["data"]["vlist"]
videos = [
(
video['aid'], video["title"], video["description"], f"https:{video['pic']}")
for video in videos
]
for (aid, title, summary, coverUrl) in videos:
appUrl = f"bilibili://video/{aid}"
webUrl = f"https://www.bilibili.com/video/av{aid}"
slack.api_call(
"chat.postMessage",
channel="#review",
username="TESTV",
icon_url="https://tva1.sinaimg.cn/crop.0.0.640.640.180/005QGjbqjw8f884tmcirlj30hs0hs0sw.jpg",
attachments=[
{
"fallback": title,
"title": title,
"title_link": webUrl,
"image_url": coverUrl,
"text": summary,
"actions": [
{
"type": "button",
"text": "本期视频",
"url": appUrl
},
{
"type": "button",
"text": "TESTV 主页",
"url": "bilibili://space/11336264"
}
]
}
]
)
def main():
fetchLatestTestVideos()
if __name__ == '__main__':
main()
执行 python -m bilibili.testv 来体验一下推送最新一条视频的效果：
这一步 Repo 参见：https://github.com/DianQK/my_slack_bot_demo/tree/936ef6504ad10017f4d63f27676e4968c1f0b83e (opens new window)。
# CircleCI 配置定时推送
CircleCI 文档见：https://circleci.com/docs/2.0/language-python/ (opens new window)。
在 CircleCI 中有 job 和 workflow 两个概念：
- job 指执行的工作内容
- workflow 指工作流程，具体描述执行哪些 job 以及触发 job 逻辑
executors:
my-executor:
docker:
- image: circleci/python:3.6.1
working_directory: ~/repo
jobs:
my-job:
environment:
RUN_TASKS: testv,sspai
executor: my-executor
steps:
- checkout
- restore_cache:
keys:
- v1-dependencies-{{ checksum "requirements.txt" }}
- v1-dependencies-
- run:
name: install dependencies
command: |
python3 -m venv venv
. venv/bin/activate
pip install -r requirements.txt
- save_cache:
paths:
- ./venv
key: v1-dependencies-{{ checksum "requirements.txt" }}
- run:
name: run all
command: |
. venv/bin/activate
python main.py # 执行我们的抓取任务
workflows:
version: 2
morning-scheduled-workflow:
triggers:
- schedule:
cron: "0 0 * * *" # 我们是 +8 时区，当前配置为每天早上 8 点
filters:
branches:
only: master
jobs:
- my-job
根据 RUN_TASKS 环境变量定制需要执行哪些任务：
import os
from bilibili.testv import fetchLatestTestVideos
import sys
RUN_TASKS = os.environ["RUN_TASKS"]
tasks = RUN_TASKS.split(',')
if 'testv' in tasks:
fetchLatestTestVideos()
if 'sspai' in tasks:
print('TODO')
# Next
基本的功能都完成了，剩下的我们还需要考虑：
- 脚本异常处理，挂了推送到 Slack
- 文章内容重复推送，CircleCI 似乎提供了一个可以读写的 MySQL，我使用的阿里的 OSS，除去做一些基本的记录还可以存储抓取的图片的，Web 归档
- 主动抓取文章交互，
Hey Siri，来篇文章。我好像不明白你在说什么。