python抓取动态加载的网页

首先pip安装selenium，然后安装phantomjs，以Debian为例：

1
2
3
4
5
6
sudo apt-get install build-essential chrpath libssl-dev libxft-dev
sudo apt-get install libfreetype6 libfreetype6-dev libfontconfig1 libfontconfig1-dev
wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2
tar xvjf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/share/
# 需要的话可以建个软链接
sudo ln -sf /usr/local/share/phantomjs-2.1.1-linux-x86_64/bin/phantomjs /usr/local/bin

使用phantomjs –version查看验证是否安装成功

  • python代码

    1
    2
    3
    4
    5
    6
    7
    from selenium import webdriver

    url = "https://xxx"
    driver = webdriver.PhantomJS(executable_path='/bin/phantomjs/bin/phantomjs')  # 这里使用绝对路径引入配置
    driver.get(url)  # 抓取地址
    html = driver.page_source  # 返回内容
    driver.quit()

  • 报错
    如果报如下错误：

    1
    UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead

尝试pip uninstall selenium卸载，并安装老版本pip install selenium==2.48.0

赏

谢谢你请我吃糖果

支付宝
微信

扫一扫，分享到微信

微信分享二维码

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

Make More Time