godall
V2EX  ›  问与答

租的 Linux 云服务器,如何启用图形模式以便模拟浏览器爬虫?

  •  
  •   godall · Jul 2, 2025 · 1084 views
    This topic created in 347 days ago, the information mentioned may be changed or developed.
    现在网页加密技术越来越发达了,都是基于机器和浏览器行为进行计算 md5 ,普通爬虫已经爬不了了,只有完完全全模拟浏览器打开网页才有可能, 前面租用了一台装 centos 8 的 Linux 云服务器,默认没有图形模式,是否可以启用图形模式?或者有其他方式
    比如这个理财网站,可以查全部公开理财数据,原来可以爬虫,现在爬不了。
    https://www.chinawealth.com.cn/lcweb/management/proScreen
    Eb7caYE8I5XU0B47
        1
    Eb7caYE8I5XU0B47  
       Jul 2, 2025   ❤️ 1
    xvfb + Playwright/Puppeteer 就能加载完整页面;真要 GUI:dnf groupinstall "Server with GUI" && dnf install xrdp ,重启后用 mstsc 直连。懒得折腾可直接上 NiceCloud 带桌面镜像( Chrome/Playwright 预装)。如果后续想要“一键图形桌面 + 浏览器/Playwright 已预装”的云主机,或者需要在阿里云、腾讯云、AWS 、GCP 之间快速切换 IP 做测试,可以试试 NiceCloud 喜云,公有云打八折
    covering
        2
    covering  
       Jul 2, 2025
    headless
    godall
        3
    godall  
    OP
       Jul 3, 2025
    @nicecloudcom #1 谢谢啊,请问 Playwright/Puppeteer 哪个更强一点?
    最近发现上海房地网成交统计装了反爬机制,一般浏览器搞不定了。
    https://183.194.252.232:2004/new_house/new_house_district_bargain.html
    Eb7caYE8I5XU0B47
        4
    Eb7caYE8I5XU0B47  
       Jul 3, 2025
    Playwright 更合适:多内核、隔离 context 、自带 stealth ,代理最好用住宅/国内段,避开 ASN 识别
    godall
        5
    godall  
    OP
       Aug 4, 2025
    @Eb7caYE8I5XU0B47 没有安装 xvfb 的话,单独安装 Playwright 是否不行?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2919 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 12:52 · PVG 20:52 · LAX 05:52 · JFK 08:52
    ♥ Do have faith in what you're doing.