Skip to content

Commit

Permalink
ADD:用户信息及作品获取接口
Browse files Browse the repository at this point in the history
  • Loading branch information
ShilongLee committed Jun 22, 2024
1 parent d50f67a commit 2fe37cf
Show file tree
Hide file tree
Showing 11 changed files with 151 additions and 15 deletions.
26 changes: 26 additions & 0 deletions docs/api/bilibili/bilibili.md
Original file line number Diff line number Diff line change
Expand Up @@ -192,3 +192,29 @@ python3 script/bilibili/download.py --id=<video_id> --dir=<dir> --retain=<retain
# retain : 是否保留下载链接文件, 0: 不保存, 1: 保存, 默认为0
# hostport : crawler服务所在主机端口, 默认为 http://localhost:8080
```

### 用户信息及作品获取

- **URL**

`/bilibili/user`

- **Method**

`GET`

- **URL Params**

| 参数 | 必选 | 类型 | 说明 |
|:---:|:---:|:---:|:---:|
| id | true | string | 用户id,用户详情页url中获取,例如: 6574487 |
| offset | false | int | 作品翻页偏移量, 默认0 |
| limit | false | int | 作品返回数量, 默认30 |

- **Success Response**

| 参数 | 必选 | 类型 | 说明 |
|:---:|:---:|:---:|:---:|
| code | true | int | 0: 成功 1: 参数错误 2: 服务器错误 |
| data | true | struct | 数据 |
| msg | true | string | 请求说明(成功、参数错误、服务器错误) |
26 changes: 26 additions & 0 deletions docs/api/douyin/douyin.md
Original file line number Diff line number Diff line change
Expand Up @@ -167,3 +167,29 @@
| code | true | int | 0: 成功 1: 参数错误 2: 服务器错误 |
| data | true | struct | 数据 |
| msg | true | string | 请求说明(成功、参数错误、服务器错误) |

### 用户信息及作品获取

- **URL**

`/douyin/user`

- **Method**

`GET`

- **URL Params**

| 参数 | 必选 | 类型 | 说明 |
|:---:|:---:|:---:|:---:|
| id | true | string | 用户id,用户详情页url中获取,例如: MS4wLjABAAAALxGAOfN0tLctoL7RgIPkRM5NV1Iw5r_auMpmXzJeKfY |
| offset | false | int | 作品翻页偏移量, 默认0 |
| limit | false | int | 作品返回数量, 默认10 |

- **Success Response**

| 参数 | 必选 | 类型 | 说明 |
|:---:|:---:|:---:|:---:|
| code | true | int | 0: 成功 1: 参数错误 2: 服务器错误 |
| data | true | struct | 数据 |
| msg | true | string | 请求说明(成功、参数错误、服务器错误) |
26 changes: 26 additions & 0 deletions docs/api/kuaishou/kuaishou.md
Original file line number Diff line number Diff line change
Expand Up @@ -167,3 +167,29 @@
| code | true | int | 0: 成功 1: 参数错误 2: 服务器错误 |
| data | true | struct | 数据 |
| msg | true | string | 请求说明(成功、参数错误、服务器错误) |

### 用户信息及作品获取

- **URL**

`/kuaishou/user`

- **Method**

`GET`

- **URL Params**

| 参数 | 必选 | 类型 | 说明 |
|:---:|:---:|:---:|:---:|
| id | true | string | 用户id,用户详情页url中获取,例如: 3x5mpuwhjphwr8w |
| offset | false | int | 作品翻页偏移量, 默认0 |
| limit | false | int | 作品返回数量, 默认20 |

- **Success Response**

| 参数 | 必选 | 类型 | 说明 |
|:---:|:---:|:---:|:---:|
| code | true | int | 0: 成功 1: 参数错误 2: 服务器错误 |
| data | true | struct | 数据 |
| msg | true | string | 请求说明(成功、参数错误、服务器错误) |
26 changes: 26 additions & 0 deletions docs/api/weibo/weibo.md
Original file line number Diff line number Diff line change
Expand Up @@ -197,3 +197,29 @@
| code | true | int | 0: 成功 1: 参数错误 2: 服务器错误 |
| data | true | struct | 数据 |
| msg | true | string | 请求说明(成功、参数错误、服务器错误) |

### 用户信息及作品获取

- **URL**

`/weibo/user`

- **Method**

`GET`

- **URL Params**

| 参数 | 必选 | 类型 | 说明 |
|:---:|:---:|:---:|:---:|
| id | true | string | 用户id,用户详情页url中获取,例如: 2865435252 |
| offset | false | int | 作品翻页偏移量, 默认0 |
| limit | false | int | 作品返回数量, 默认5 |

- **Success Response**

| 参数 | 必选 | 类型 | 说明 |
|:---:|:---:|:---:|:---:|
| code | true | int | 0: 成功 1: 参数错误 2: 服务器错误 |
| data | true | struct | 数据 |
| msg | true | string | 请求说明(成功、参数错误、服务器错误) |
26 changes: 26 additions & 0 deletions docs/api/xhs/xhs.md
Original file line number Diff line number Diff line change
Expand Up @@ -167,3 +167,29 @@
| code | true | int | 0: 成功 1: 参数错误 2: 服务器错误 |
| data | true | struct | 数据 |
| msg | true | string | 请求说明(成功、参数错误、服务器错误) |

### 用户信息及作品获取

- **URL**

`/xhs/user`

- **Method**

`GET`

- **URL Params**

| 参数 | 必选 | 类型 | 说明 |
|:---:|:---:|:---:|:---:|
| id | true | string | 用户id,用户详情页url中获取,例如: 653349c2000000002a036f3a |
| offset | false | int | 作品翻页偏移量, 默认0 |
| limit | false | int | 作品返回数量, 默认20 |

- **Success Response**

| 参数 | 必选 | 类型 | 说明 |
|:---:|:---:|:---:|:---:|
| code | true | int | 0: 成功 1: 参数错误 2: 服务器错误 |
| data | true | struct | 数据 |
| msg | true | string | 请求说明(成功、参数错误、服务器错误) |
5 changes: 5 additions & 0 deletions docs/doc.md
Original file line number Diff line number Diff line change
Expand Up @@ -10,6 +10,7 @@
- 抖音视频评论获取
- 抖音评论回复获取
- 抖音搜索结果获取
- 抖音用户信息和作品获取

抖音:[API 文档](api/douyin/douyin.md)

Expand All @@ -23,6 +24,7 @@
- 快手视频评论获取
- 快手评论回复获取
- 快手搜索结果获取
- 快手用户信息和作品获取

快手:[API 文档](api/kuaishou/kuaishou.md)

Expand All @@ -36,6 +38,7 @@
- 哔哩哔哩视频评论获取
- 哔哩哔哩评论回复获取
- 哔哩哔哩搜索结果获取
- 哔哩哔哩用户信息和作品获取

哔哩哔哩:[API 文档](api/bilibili/bilibili.md)

Expand All @@ -49,6 +52,7 @@
- 小红书视频评论获取
- 小红书评论回复获取
- 小红书搜索结果获取
- 小红书用户信息和作品获取

小红书:[API 文档](api/xhs/xhs.md)

Expand Down Expand Up @@ -83,5 +87,6 @@
- 微博评论回复获取
- 微博搜索结果获取
- 微博媒体资源预览
- 微博用户信息和作品获取

微博:[API 文档](api/weibo/weibo.md)
22 changes: 11 additions & 11 deletions readme.md
Original file line number Diff line number Diff line change
Expand Up @@ -18,15 +18,15 @@

## 功能

| 平台 | 关键词搜索 | 帖子/视频详情 | 一级评论 | 二级评论 | 视频/图片下载 |
|:---:|:---:|:---:|:---:|:---:|:---:|
| 抖音 ||||||
| 快手 ||||||
| 哔哩哔哩 ||||||
| 小红书 ||||||
| 微博 ||||||
| 淘宝 ||||||
| 京东 ||||||
| 平台 | 关键词搜索 | 帖子/视频详情 | 一级评论 | 二级评论 | 视频/图片下载 | 用户信息/作品 |
|:---:|:---:|:---:|:---:|:---:|:---:|:---:|
| 抖音 |||||||
| 快手 |||||||
| 哔哩哔哩 |||||||
| 小红书 |||||||
| 微博 |||||||
| 淘宝 |||||||
| 京东 |||||||

- 快手、抖音、哔哩哔哩、小红书、淘宝、京东、微博平台的爬虫接口
- 获取公开的用户信息,帖子信息等
Expand Down Expand Up @@ -93,8 +93,8 @@ API文档:[API 文档](docs/doc.md)
- [x] 小红书
- [x] 微博
- [x] 抖音全面更新a_bogus
- [ ] 淘宝详情、评论功能
- [ ] 京东详情、评论功能
- [ ] 淘宝详情、评论、用户信息功能
- [ ] 京东详情、评论、用户信息功能

## star 趋势图

Expand Down
2 changes: 1 addition & 1 deletion service/douyin/logic/user.py
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
from .common import common_request

def request_user(id: str, cookie: str, offset: int = 0, limit: int = 20) -> tuple[dict, bool]:
def request_user(id: str, cookie: str, offset: int = 0, limit: int = 10) -> tuple[dict, bool]:
"""
请求抖音获取用户信息
"""
Expand Down
2 changes: 1 addition & 1 deletion service/douyin/views/user.py
Original file line number Diff line number Diff line change
Expand Up @@ -13,7 +13,7 @@ def user():
"""
id = request.args.get('id', '')
offset = int(request.args.get('offset', 0))
limit = int(request.args.get('limit', 20))
limit = int(request.args.get('limit', 10))

_accounts = accounts.load()
random.shuffle(_accounts)
Expand Down
2 changes: 1 addition & 1 deletion service/weibo/logic/user.py
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
from .common import common_request

def request_user(id: str, cookie: str, offset: int = 0, limit: int = 20) -> tuple[dict, bool]:
def request_user(id: str, cookie: str, offset: int = 0, limit: int = 5) -> tuple[dict, bool]:
"""
请求微博获取用户信息
"""
Expand Down
3 changes: 2 additions & 1 deletion service/xhs/logic/user.py
Original file line number Diff line number Diff line change
Expand Up @@ -9,7 +9,8 @@ def request_user(id: str, cookie: str, offset: int = 0, limit: int = 20) -> tupl
请求小红书获取用户信息
"""
# 从doc中获取用户信息
response = requests.get(f'{WEB_HOST}/user/profile/{id}')
headers = {'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36'}
response = requests.get(f'{WEB_HOST}/user/profile/{id}', headers=headers)
if response.status_code != 200 or response.text == '':
return {}, False
soup = BeautifulSoup(response.text, 'html.parser')
Expand Down

0 comments on commit 2fe37cf

Please sign in to comment.