爬虫爬到这种 [数字] ，该如何解决？

This topic created in 2983 days ago, the information mentioned may be changed or developed.

正在学习爬虫，然后发现页面上看上去比较正常的数字，原来暗藏玄机。

这特么的不是正经数字！！！！！！！

右键选择后，就发现了奇怪的现象，浏览器菜单根本识别不出来这是什么东西。

然后查看源代码发现，好像是一种自定义的字体。

<span class="dzfoYFxr">
	&#100333;&#100330;&#100330;&#100338;&#100331;&#100330;
</span>
<cite>万字</cite>

而且，每次刷新都是不一样的。

刷新后是这样的：

<span class="xVHrzwwr">
	&#100518;&#100516;&#100516;&#100512;&#100519;&#100516;
</span>
<cite>万字</cite>

查看元素可以发现真的是字体。

那么，请问，这种情况该如何解决？

18 replies • 2018-04-15 11:18:55 +08:00

ccino

Apr 14, 2018

等高手吧，我没想出来办法。。。。。。。。

whileFalse

Apr 14, 2018

ocr 啊。

Hzzone

Apr 14, 2018 via iPhone

截图 ocr

takato

Apr 14, 2018

1.OCR
2.可以考虑实现一个模型 train 一下看看 class 的值和&#后的数字有没有线性或非线性关系。

xzc0001

Apr 14, 2018

直接映射？是不是每个数字只用了一个或者几个对应字体里的字符？可以单独写个函数去转这个数字。

LeungJZ

Apr 14, 2018

@xzc0001
映射估计不行，因为每次刷新后就会变的。

@whileFalse
@Hzzone
@takato
爬虫还要加上 ocr 岂不是分分钟超时？还费钱。

m939594960

Apr 14, 2018

解析字体文件啊？

xujialiang

Apr 14, 2018 via iPhone

找 js 里的方法，看它们怎么解析的，抄过来

sujin190

Apr 14, 2018

自定义字体，这个加密牛逼啊，有想法，但是每次生成字体文件应该挺耗资源的吧，那么就不可能有太多份才是，写个脚本刷新试试，看看会不会遇到重复的

crab

Apr 14, 2018

http://www.freebuf.com/news/140965.html

EPr2hh6LADQWqRVH

Apr 14, 2018

这个思路 nice 啊，学习一个

LeungJZ

Apr 14, 2018

@xujialiang
没有 js 操作，完全的 ssr。在 console 里面打开 diabled javascirpt 一样能渲染出来的。

LeungJZ

Apr 14, 2018

@sujin190
应该不是每次都生成，但是可能有大量已经生成好的字体文件，已经分散在 cdn 上了。每次输出只要随便取一个就可以了。

LeungJZ

Apr 14, 2018

@crab
确实，猫眼的也是这样的，但是，很容易就破了，因为他每次引入的字体文件都是一样的，字体都是 stonefont。而这里却每刷新一次就有新的文件。

boboliu

Apr 14, 2018 via Android

可以同时直接解析 TTF 然后比对字形识别

l0ng

Apr 14, 2018

我发现网易云音乐网页版的歌名加入了特殊字符

<b title="不为谁而作的歌">不为<div class="soil">蝜蟊挏</div>谁而作的歌</b>

Trim21

Apr 15, 2018 via Android

@l0ng …网易这样有意思吗，直接抓 tag 的属性不就行了

projectzoo

Apr 15, 2018

我的第一想法就是设置得是字体，毕竟浏览器可以无痛解析。