Create query API for 500 million Weibo data

Preparation Clickhouse Database Linux/Windows/macOS Server Data Import First you need to deploy Clickhouse and finish creating a brand new database. Create two tables. Table For Query Weibo Uid. CREATE TABLE wb_uid( uid String, mobile String )ENGINE = MergeTree() ORDER BY (uid) PRIMARY KEY (uid); Table For Query Mobile Phone Number CREATE TABLE wb_mobile( uid String, mobile String )ENGINE = MergeTree() ORDER BY (mobile) PRIMARY KEY (mobile); Query Data WeiboSearcher is an API program written in Golang....

Thursday, February 9, 2023 · Vincent Young

Unblock the Sina Weibo account

被封 2022 年 10 月 14 日,我和往常一样傍晚出门的时候打开微博刷,因为收到了转运公司给的邮件。告知,我购买的 Yubikey 硬件密钥无法转运。当时非常烦躁,于是想发个微博吐槽一下。结果出现了弹窗,告知我的微博异常。 我的微博没发过政治相关的任何东西,我想发的 Yubikey 那条微博中仅仅包含了 在中国大陆真难啊 字样。平时也不爱评论政治相关的内容。也不会和别人因为意见不同而吵架。所以我自己的微博被封,其实还是挺震惊的。我有很多社交平台的帐号,这还是头一回被封。 被封之后,我不能发微博,不能评论别人,不能转发别人的微博,不能给他人发私信,当然其他人甚至都看不到我。我也无法取关或者关注任何人。 解封 在被限制功能的弹窗里面,会有个“申请解除”的按钮,进入之后需要你填写一个“原因“。据网友反馈,这个你反馈几十次都没人会理你。虽然我还是反馈了,但是完全不抱希望。 我又在网上搜索了一些别的方法,看了一圈,比较靠谱的还是使用 互联网信息服务投诉平台。我立即提交了我的情况,并且说明我在微博平台有很高的信用分,是微博的 VIP7 用户,是微博的十年用户,也是微博的认证用户。 过了大概一周左右的时间,我收到了微博给我的一条短信。 我大概看了一下,需要我上传我的短信截图、入网证明、手持身份证、保证书等等材料,等待审核。一开始为了省事,于是就没有上传保证书,我写的理由是“可能账号被盗”。微博给我的反馈是检测到帐号一切正常,没有被盗的情况。意思是微博认为违规行为一定是我本人所为。 我去打印了保证书,又一次提交了。微博反馈我的手持身份证照片不清晰,看不清证件信息。 我重新拍了手持身份证照片,再次提交。这一次的反馈是我在保证书中违规原因写的不正确。 但是问题是我真的不知道是因为哪条微博导致的违规。我就什么都没改重新提交了一次。 这一次微博反馈说,我在 2022 年 10 月 8 日发布了违规评论。(但是我至今都不知道我发了什么) OK,既然他们这样说,我就按照客服给我的反馈,我写违规原因“由于 2022 年 10 月 8 日 21: 54: 27 发布了违规评论违反 xxx 规定”。还是被拒绝了,让我正确手写保证书。 我又去打印了一张空白的保证书,所有内容全部手写。又一次提交了,这一次微博反馈给我,让我正确填写违规原因。但是我真的不知道该怎么写了。 我实在无奈,又一次去 互联网信息服务投诉平台 反馈了。幸运的是,这一次微博给我的短信和上一次不一样。 这一次的提交入口也和之前不一样,之前是“异常帐号处理”,这一次是“刷单兼职”。我似乎是明白了,是因为我在 10 月 8 日晚上发布的言论涉嫌“兼职刷单“,虽然我不知道我发了什么,但是我就照着这个理由填写。又一次提交了。 很快收到了这个短信,大概意思是材料算是齐全了。让我继续等。都过去了两个半月了,我其实也一点都不着急了。 在 2022 年的倒数第二天,我又收到了微博给我的短信,我的帐号解封了。 总结 我一共消耗了两个多月的时间。其中提交了有差不多 10 次材料审核。整个过程还是非常地曲折,而且其中最恶心的是,微博没有人工客服。你根本没办法知道你是因为什么被封,但是他必须要你填写”违规原因“。这就等于是一个死循环。而且你每一次提交给你反馈的原因都是不一样的。意味着你可能需要尝试很多很多次。 这还是一个很奇妙的过程,不过解封之后,我可能不太会使用新浪微博了。

Saturday, December 31, 2022 · Vincent Young

Withdrawal from Chinese social media platforms

2022 年 8 月 15 日,我做了两个小时视频,准备在 哔哩哔哩 发布。当我上传完成后,静静等待审核。结果竟然是审核不通过。开始对 哔哩哔哩 感到失望。之后再也没有更新过任何视频。 2022 年 10 月 13 日,和往常一样傍晚出去散步,收到了转运公司给我发的邮件,提示我购买的 硬件密钥 是禁运品,无法转运到中国大陆。于是我发布了下面的 Twitter。 前几天 Cloudflare x Yubico 活动,买了两个 Yubikey 5C NFC。到达转运仓库之后,被告知是违禁品,只能退回。退货运费比商品总价还高。在中国大陆真难啊。 当我复制之后,想要在 新浪微博 发布时,提示我账号异常。也就意味着在那一刻我的账号被封禁了,无法点赞、评论、转发、关注、取关。并且直接在别人的微博上消失。当时我就傻眼了,从 2013 年注册微博到现在,已经用了近 10 年了。从来没有发布过任何违规的内容,不参与任何政治话题和热搜话题,不在微博吵架骂人。微博会员开了 8 年,目前已经是 VIP7,微博认证了摄影博主,微博实名认证且微博名就是实名。我真的不知道我到底是因为什么被封禁,是因为我想发的那条微博,还是之前发布的微博。自己又翻了一下,几乎都是日常,并没有什么敏感词。 于是,我打开了 Twitter,开始搜索关键词—— 微博炸。搜到了好多和我类似遭遇的朋友,有的是因为发布了“我看到了”被封号了。也有不少人是和我一样什么都没发就号没了。也算是心里找到了一丝安慰,毕竟不是只有我一个人遭遇了这个问题。 之后,我就开始搜索各种资料,寻找解封的方式。微博官网当然是提供了 解除异常 的按钮,但是根据网友的经验,这种官方的方式基本上是不可能得到任何回应的,或者就是审核失败。另外,值得一提的是,微博有人工客服等于没有,因为你根本找不到人工/在线客服的人口。后来我选择了 互联网信息服务投诉平台,投诉了 新浪微博。目前还在处理中。 通过这两件事,让我对中国的社交平台非常失望。老实说,其实很想脱离国内的社交平台。但是从小学用到大学的这些账号,对我来说意味着太多。就比如通过微博,我认识了很多有意思的人,有很多本来是网友,现在是关系不错的朋友。更重要的是,有很多我喜欢的博主会在微博上更新。当然,即使解封了我可能不会再更新任何内容。 经过了两天的思考,我决定退出中国的所有社交平台,包括 哔哩哔哩 知乎 等等。本来我很喜欢在这些社交平台上贡献我的一些经验,或者是一些有趣的发现。但是由于太多的限制,迫使我不得不永久停止更新。我已经将所有平台的签名修改为 永久停止更新。之后可能慢慢地,也会远离 微信。近些年,朋友圈发的本来就很少,因为微信加了太多家人、老师、朋友和陌生人。很多时候都不想发朋友圈,怕打扰到大家。微博本身是我的一个情绪窗口,我会分享我的日常,当然大部分我都是分享比较正能量的内容。 之后的计划是会按照以前的频率在 Twitter 上更新,另外会考虑重新开始更新 YouTube 频道。除此之外,我会尽量少使用社交平台,把更多的精力放在开发这件事上。我会持续的 GitHub 社区以及 PyPi 更新我写的 Projects 。 如果你想联系我,请不要联系 微信。请联系我的 Discord 或 Telegram。你可以在这两个平台上随时找到我,并且和我说任何你想说的。 Discord: missuo#7448...

Friday, October 14, 2022 · Vincent Young