爬取 UOTAN 指北

声明

此项目不隶属于青岛柚坛网络科技有限公司和武威市凉州区灵动软件开发工作室。

经国家知识产权局商标局和国家企业信用信息公示系统查询,UOTAN 与 柚坛社区 不是任何中华人民共和国境内企业的注册商标。

但 柚坛社区 作为有一定影响力的社区,其图形商标已经完成创作且进行企业、网站宣传,受《中华人民共和国著作权法》保护。

本项目 仅供学习交流 ,无意侵犯贵司著作权等其他合法权益。

相关著作权人和民事主体可联系本人删除此文章,邮箱: 2280718448@qq.com 。

柚坛社区:uotan.cn

前言

为什么要爬 UOTAN

  • 我很喜欢柚坛社区的创作氛围。

  • 我希望使用 Kotlin 和 Android View 为其开发第三方客户端,但没抓取到 API。

小声叨叨

本项目使用到了 Android、Jsoup、Shape Blur 等开源项目,软件开发结束后,除部分 API 及其解析过程将会依据开源协议开源。

可以在本网站主页找到博主的 Github 个人主页嗷~

一些名词的解释

Selector

在网页设计和前端开发中,Selector 是指用于选择网页中元素的一种模式或规则。它通常与CSS(层叠样式表)结合使用,以便为网页元素应用样式。例如,你可以用一个选择器来选择所有的段落标签,然后给这些段落设置颜色、字体大小等样式。选择器有多种形式,包括类型选择器、类选择器、ID 选择器、属性选择器等。

简单来说,选择器就像是在网页中为元素打上标签,然后我们可以通过这些标签来控制它们的外观和行为。

爬取指北

连接并获得 HTML 文档

1
val html = Jsoup.connect("https://www.uotan.cn/").get()

文章标题

Selector:

1
2
3
#yesSideBar > div.p-body-content > div > div.block.porta-masonry > div:nth-child(1) > div > div.porta-header-text > span
#yesSideBar > div.p-body-content > div > div.block.porta-masonry > div:nth-child(2) > div > div.porta-header-text > span
...

爬取示例:

1
2
3
4
5
6
7
8
9
10
// 创建一个空集合
val titleList = mutableListOf<String>()
// 使用 CSS 选择器,选择在 div.porta-header-text 元素下的所有具有 span 的 素。
// 通过这个选择器找到所有包含封面图片的元素。
val titleElements = html.select("div.porta-masonry div.porta-header-text span")
// 遍历
for (element: Element in titleElements) {
// 添加
titleList.add(element.text())
}

文章封面

Selector:

1
2
3
#yesSideBar > div.p-body-content > div > div.block.porta-masonry > div:nth-child(1) > div > a > div
#yesSideBar > div.p-body-content > div > div.block.porta-masonry > div:nth-child(2) > div > a > div
...

获取到的元素:

1
2
<div class="porta-header-image" style="background-image: url('https://www.uotan.cn/ewr-porta/attachments/1000064166-jpg.4191/');">
</div>

我们要获取其中的 https://www.uotan.cn/ewr-porta/attachments/1000064166-jpg.4191/ 封面 url。

爬取示例:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
// 创建一个空集合
val coverUrls = mutableListOf<String>()
// 使用 CSS 选择器,选择在 #yesSideBar 元素下的所有具有 porta-header-image 类的 div 元素。
// 通过这个选择器找到所有包含封面图片的元素。
val elements = doc.select("#yesSideBar div.porta-header-image")
// 遍历 elements
for (element in elements) {
// 获取每个元素的 style 属性值。这个属性值包含背景图片的 URL。
val styleAttr = element.attr("style")
// 定义一个正则表达式,用来匹配 style 属性中的 URL。
val urlPattern = "url\\('(.*?)'\\)".toRegex()
// 在 style 属性值中查找符合正则表达式的内容。
val matchResult = urlPattern.find(styleAttr)
// 检查是否找到匹配的内容
if (matchResult != null) {
// 提取匹配结果集合中的第一个值,即封面图片的 URL。
val coverUrl = matchResult.groupValues[1]
// 添加结果到集合
coverUrls.add(coverUrl)
}
}

文章作者名

1
2
3
#yesSideBar > div.p-body-content > div > div.block.porta-masonry > div:nth-child(1) > div > div.message-cell.message-main > div > div.contentRow-main > h3 > a
#yesSideBar > div.p-body-content > div > div.block.porta-masonry > div:nth-child(2) > div > div.message-cell.message-main > div > div.contentRow-main > h3 > a
...

爬取示例:

1
println("我要准备去找男朋友了!不写辣!")

文章作者头像

Selector:

1
2
(有头像)#js-XFUniqueId7 > img
(无头像)#js-XFUniqueId8 > span(这里包裹了用户名的第一个字符)

有头像元素:

1
<img src="/data/avatars/s/94/94039.jpg?1736903671" srcset="/data/avatars/m/94/94039.jpg?1736903671 2x" alt="Nya_Fish" class="avatar-u94039-s" width="48" height="48" loading="lazy" itemprop="image">

无头像元素:

1
<span class="avatar-u92295-s" role="img" aria-label="无限速RISE">无</span>

注意:这里的selector可以为 #js-XFUniqueId" + 7 + i(循环次数,从零开始计)

其中 img 元素代表用户有头像,要在 src 的内容前加上 “https://www.uotan.cn/“ 域名。span元素代表用户无头像,要使用其用户名第一个字符。

爬取示例:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
val avatarUrls = mutableListOf<String>()
val baseUrl = "https://www.uotan.cn"
val totalItems = 10 // 假设需要处理的项数
for (i in 0 until totalItems) {
val imgSelector = "#js-XFUniqueId${7 + i} > img"
val spanSelector = "#js-XFUniqueId${7 + i} > span"
val imgElement = doc.selectFirst(imgSelector)
val spanElement = doc.selectFirst(spanSelector)
if (imgElement != null) {
// 有头像,获取图片 URL
val src = imgElement.attr("src")
val fullUrl = baseUrl + src
avatarUrls.add(fullUrl)
} else if (spanElement != null) {
// 无头像,使用用户名第一个字符
val userName = spanElement.attr("aria-label")
val avatarPlaceholder = userName.first().toString()
avatarUrls.add(avatarPlaceholder)
} else {
// 处理没有匹配到元素的情况
println("No avatar element found for item #${7 + i}")
}
}
// 输出或使用 avatarUrls 列表
avatarUrls.forEach { println(it) }

文章简介

Selector:

1
2
3
#yesSideBar > div.p-body-content > div > div.block.porta-masonry > div:nth-child(1) > div > div.message-body > div
#yesSideBar > div.p-body-content > div > div.block.porta-masonry > div:nth-child(2) > div > div.message-body > div
...

注意:<br> 换行符要替换为 \n

爬取示例:

1
println("我要准备去找男朋友了!不写辣!")

文章发布时间

Selector:

1
2
3
#yesSideBar > div.p-body-content > div > div.block.porta-masonry > div:nth-child(1) > div > div.message-cell.message-main > div > div.contentRow-main > div > a > time
#yesSideBar > div.p-body-content > div > div.block.porta-masonry > div:nth-child(1) > div > div.message-cell.message-main > div > div.contentRow-main > div > a > time
...

元素中包含详细时间,看需求。

元素:

1
<time class="u-dt" dir="auto" datetime="2025-01-15T16:29:00+0800" data-time="1736929740" data-date-string="2025-01-15" data-time-string="16:29" title="2025-01-15, 16:29" data-full-old-date="true">2025-01-15</time>

爬取示例:

1
println("我要准备去找男朋友了!不写辣!")

文章话题

Selector:

1
2
3
#yesSideBar > div.p-body-content > div > div.block.porta-masonry > div:nth-child(1) > div > div.block-body.message-inner > div > header > div.message-attribution-main > div > span
#yesSideBar > div.p-body-content > div > div.block.porta-masonry > div:nth-child(2) > div > div.block-body.message-inner > div > header > div.message-attribution-main > div > span
...

爬取示例:

1
println("我要准备去找男朋友了!不写辣!")

文章浏览量

Selector:

1
2
3
#yesSideBar > div.p-body-content > div > div.block.porta-masonry > div:nth-child(1) > div > div.block-body.message-inner > div > header > div.message-attribution-opposite > ul > li:nth-child(1)

#yesSideBar > div.p-body-content > div > div.block.porta-masonry > div:nth-child(2) > div > div.block-body.message-inner > div > header > div.message-attribution-opposite > ul > li:nth-child(1)

元素:

1
2
3
4
<li>
<span class="icon-view"></span>
4,484
</li>

爬取示例:

1
println("我要准备去找男朋友了!不写辣!")

文章评论数

Selector:

1
2
3
#yesSideBar > div.p-body-content > div > div.block.porta-masonry > div:nth-child(1) > div > div.block-body.message-inner > div > header > div.message-attribution-opposite > ul > li.before-display-none
#yesSideBar > div.p-body-content > div > div.block.porta-masonry > div:nth-child(2) > div > div.block-body.message-inner > div > header > div.message-attribution-opposite > ul > li.before-display-none
...

元素:

1
2
3
4
<li class="before-display-none">
<span class="icon-comment"></span>
75
</li>

爬取示例:

1
println("我要准备去找男朋友了!不写辣!")

最后更新日期:2025年2月3日