Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

功能添加 优化 #65

Open
wants to merge 2 commits into
base: main
Choose a base branch
from
Open

功能添加 优化 #65

wants to merge 2 commits into from

Conversation

RobotJohns
Copy link

@RobotJohns RobotJohns commented Dec 7, 2021 •
edited
Loading

1). 修改 路径为 './' 兼容 mac
2). 存储视频信息 描述，点赞，评论，以便 后期的数据二次加工
3). 优化以 视频描述作为 文件名称的时候 对于长文件名称以及 '\r\n' 非法进行处理
4). 添加GC
5). 空数据检测

一次性爬 2000+ 视频 不报异常
@RobotJohns
功能添加 优化
0ea992d 
1). 修改 路径为 './'  兼容 mac
2). 存储视频信息 描述，点赞，评论，以便 后期的数据二次加工
3). 优化以 视频描述作为 文件名称的时候 对于长文件名称以及  '\r\n' 非法进行处理
4). 添加GC
@RobotJohns
优化 路径
ef9b23a 
优化  路径 兼容 ，mac
@mingtianshi
Copy link

还是不兼容mac的，没有创建目录
@mingtianshi
Copy link

你的TikTokMulti.py 中的 self.cf.set("save", "url", ".\Download\")导致的
@RobotJohns
Copy link
Author

额？不会吧...有没有打印出错误信息
@boluohong
Copy link

1). 修改 路径为 './' 兼容 mac 2). 存储视频信息 描述，点赞，评论，以便 后期的数据二次加工 3). 优化以 视频描述作为 文件名称的时候 对于长文件名称以及 '\r\n' 非法进行处理 4). 添加GC 5). 空数据检测

一次性爬 2000+ 视频 不报异常

这个PR解决了我一个issue中提到的拓展名异常问题
特来鸣谢！
#89
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
3 participants
@RobotJohns @mingtianshi @boluohong