windows10系统中安装python3.x+scrapy教程

官网下载就好， https://www.python.org/downloads/release/python-352/

用installer下载比较方便，它直接把环境变量都帮你配了。

当然也可以在本站下载 http://www.jb51.net/softs/416037.html

升级pip

安装好之后在cmd里执行

python -m pip install -upgrade pip

把pip提到最新版本

下载lxml

lxml是解析网页用的，scrapy依赖于它，它是一个第三方的库，这里推荐一个python第三方库的网站

http://www.lfd.uci.edu/~gohlke/pythonlibs/ ，里边都是编译好的，windows下python使用者的福利。

Ctrl+F定位一下lxml

注意：打开网址后ctrl+F，搜索LXML，选择对应版本，一般是win32，而不选win_arm64，即使电脑是win64

下载好之后，cmd进入下载目录，直接用pip安装

pip install lxml-3.6.4-cp35-cp35m-win_32.whl

安装scrapy

pip安装最方便

pip install scrapy

查看版本

scrapy version

输出应该是Scrapy 1.2.1，也是官网的最新版本。

可能遇到的问题

以下内容汇总了csdn和stackoverflow部分内容

1．Python error: Unable to find vcvarsall.bat

安装MinGW（实测）

1、下载安装MinGW，下载地址为：点击打开链接

2、在MinGW的安装目录下找到bin文件夹，找到mingw32-make.exe，复制一份更名为make.exe

3、把MinGW的路径添加到环境变量path中，比如我把MinGW安装到D:\MinGW\中，就把D:\MinGW\bin添加到path中；

4、在<python安装目录>\distutils(需要在python安装目录下ctrl+f一下distutils)增加文件distutils.cfg，在文件里输入

[build]
compiler=mingw32

保存；

2、error: command‘gcc'failed: No such file or directory

解决方案是将D:\MinGW\lib再添加到PATH中。

3、ValueError: Unknown MS Compiler version 1900

Cygwinccompiler.py中

get_msvcr()函数

在

elif msc_ver == '1600':
  # VS2010 / MSVC 10.0
  return ['msvcr100']

后面，添加以下内容

elif msc_ver == '1700':
  # Visual Studio 2012 / Visual C++ 11.0
  return ['msvcr110']
elif msc_ver == '1800':
  # Visual Studio 2013 / Visual C++ 12.0
  return ['msvcr120']
elif msc_ver == '1900':
  # Visual Studio 2015 / Visual C++ 14.0
  # "msvcr140.dll no longer exists" http://blogs.msdn.com/b/vcblog/archive/2014/06/03/visual-studio-14-ctp.aspx
  return ['vcruntime140']

然后将python3.5文件夹下的vcruntime140.dll复制到D:\MinGW\mingw32\lib下

4、TypeError: unorderable types: NoneType() >= str()

重启一下试试

5、error: The 'pyasn1' distribution was not found and is required by service-identity

在运行一下setup.py试试

以上就是本文的全部内容了，希望对大家学习python能够有所帮助。

赞 (0)

相关推荐

  • python安装Scrapy图文教程

    python安装Scrapy图文教程

    安装方法 pip install Scrapy 如果顺利的话不用管直接一路下来就OK 验证是否安装成功 安装成功 不顺利的情况 1)lxml安装不成功 使用whl进行安装,不过需要先安装whl pip install wheel 安装完成后下载lxml的whl文件 网址: http://www.lfd.uci.edu/~gohlke/pythonlibs/ whl版本挑选 进入cmd-->import pip-->print pip.pep425tags.get_supported(),按照截

  • 零基础写python爬虫之爬虫框架Scrapy安装配置

    零基础写python爬虫之爬虫框架Scrapy安装配置

    前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识, 用来解决简单的贴吧下载,绩点运算自然不在话下. 不过要想批量下载大量的内容,比如知乎的所有的问答,那便显得游刃不有余了点. 于是乎,爬虫框架Scrapy就这样出场了! Scrapy = Scrach+Python,Scrach这个单词是抓取的意思, Scrapy的官网地址:点我点我. 那么下面来简单的演示一下Scrapy的安装流程. 具体流程参照:http://www.jb51.net/article/48607.htm 友情提醒:

  • python中安装Scrapy模块依赖包汇总

    本地虚拟环境开发完成之后,上线过程中需要一一安装依赖包,做个记录如下: CentOS 安装python3.5.3 wget https://www.python.org/ftp/python/3.5.3/Python-3.5.3.tgz tar -xf Python-3.5.3.tgz cd Python-3.5.3 ./configure --prefix=/usr/local/python353 make & make install 完成安装python3.5.3,在不删除系统自带的pyt

  • Mac中Python 3环境下安装scrapy的方法教程

    Mac中Python 3环境下安装scrapy的方法教程

    前言 最近抽空想学习一下python的爬虫框架scrapy,在mac下安装的时候遇到了问题,逐一解决了问题,分享一下,话不多说了,来一起看看详细的介绍吧. 步骤如下: 1. 从官网 下载最新版本Python 3.6.3(本地快速下载安装:http://www.jb51.net/softs/583651.html) # 在Mac上Python3环境下安装scrapy 2. 安装 Python3 在终端输入python3出现下面的内容表示安装成功 ➜ ~ python3 Python 3.6.3 (

  • 在Linux系统上安装Python的Scrapy框架的教程

    在Linux系统上安装Python的Scrapy框架的教程

    这是一款提取网站数据的开源工具.Scrapy框架用Python开发而成,它使抓取工作又快又简单,且可扩展.我们已经在virtual box中创建一台虚拟机(VM)并且在上面安装了Ubuntu 14.04 LTS. 安装 Scrapy Scrapy依赖于Python.开发库和pip.Python最新的版本已经在Ubuntu上预装了.因此我们在安装Scrapy之前只需安装pip和python开发库就可以了. pip是作为python包索引器easy_install的替代品,用于安装和管理Python

  • Python爬虫框架Scrapy安装使用步骤

    一.爬虫框架Scarpy简介Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架,爬取网站,从网站页面得到结构化的数据,它有着广泛的用途,从数据挖掘到监测和自动测试,Scrapy完全用Python实现,完全开源,代码托管在Github上,可运行在Linux,Windows,Mac和BSD平台上,基于Twisted的异步网络库来处理网络通讯,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片. 二.Scrapy安装指南 我们的安装步骤假设你已经安装一下内容:<1>

  • windows10系统中安装python3.x+scrapy教程

    windows10系统中安装python3.x+scrapy教程

    官网下载就好, https://www.python.org/downloads/release/python-352/ 用installer下载比较方便,它直接把环境变量都帮你配了. 当然也可以在本站下载 http://www.jb51.net/softs/416037.html 升级pip 安装好之后在cmd里执行 python -m pip install -upgrade pip 把pip提到最新版本 下载lxml lxml是解析网页用的,scrapy依赖于它,它是一个第三方的库,这里推

  • 在Ubuntu系统中安装MariaDB数据库的教程

    在Ubuntu系统中安装MariaDB数据库的教程

    MariaDB是一个开源数据库且100%与MySQL兼容,目标是替代MySQL数据库. MariaDB的背景 : 2008年,MySQL被后来被Oracle在2010年收购的Sun Microsystems收购了. 最初被Sun公司的收购由于符合项目的需要而受到MySQL社区的欢呼,但是这种情绪并没有持续太久,接下来被Oracle的收购,不幸期望远远低于预期.许多MySql的开发者离开了Sun和Oracle公司开始新的项目.在他们中间就有MySQL的创建者以及项目长期技术带头人之一的Michae

  • centos7中安装python3.6.4的教程

    Python3.6.4官方版是一款在适合开发人员使用的windows系统上运行的脚本语言工具,Python3.6.4官方版是目前程序设计从业者必学的语言之一.我们可以通过python平台来获取到所有程序软件的源代码,而且你还可以直接将这些代码改变成为其他不同的语言,从而是程序的模块更为清楚. 功能介绍 1.Python3.6.4官方版采用最简单易懂的语言,让用户快速了解 2.Python3.6.4官方版提供多个模块,并且对程序进行分层处理 3.能够自动处理程序里的各种异常错误 4.可以在电脑上作

  • 在windows系统中实现python3安装lxml

    lxml是Python中与XML及HTML相关功能中最丰富和最容易使用的库.lxml并不是Python自带的包,而是为libxml2和libxslt库的一个Python化的绑定.它与众不同的地方是它兼顾了这些库的速度和功能完整性,以及纯Python API的简洁性,与大家熟知的ElementTree API兼容但比之更优越!但安装lxml却又有点麻烦,因为存在依赖,直接安装的话用easy_install, pip都不能成功,会报gcc错误. 爬虫时通常要安装LXML,对于通过一下命令行 pip

  • Windows10系统下安装MariaDB 的教程图解

    截至写这篇博客为止,MariaDB官方的稳定版本为,详情访问官方地址:https://downloads.mariadb.org/ 安装之前先简单说一下MariaDB: MariaDB由MySQL的创始人麦克尔·维德纽斯主导开发,他早前曾以10亿美元的价格,将自己创建的公司MySQL卖给了SUN,此后,随着SUN被甲骨文收购,MySQL的所有权也落入Oracle的手中.甲骨文公司收购了MySQL后,有将MySQL闭源的潜在风险,因此开源社区采用分支的方式来避开这个风险.所以说呢,MariaDB数

  • CentOS中安装python3.8.2的详细教程

    CentOS中安装python3.8.2的详细教程

    最新的CentOS8已经内置了Python2和Python3,出入Python2和Python3两个命令可以分别进入Python2和Python3. CentOS8内置的Python3版本为3.6.8,我们需要将它升级到3.8.2 首先下载Python3.8.2的安装包 wget https://www.python.org/ftp/python/3.8.2/Python-3.8.2.tgz 下载好安装包后,下载python3.8所需要的环境依赖包 yum install gcc openssl

  • linux 编译安装python3.6的教程详解

    1. 首先去官网  https://www.python.org/downloads/source/ 下载 Gzipped source tarball 不要下载 " XZ compressed source tarball " ,目前 python3.6 最新版压缩包名字是:Python-3.6.7.tgz. 把下载的压缩包随便放到一个地方,也可以放到桌面(便于安装过后删除安装包和解压后的安装包). 2. 命令行切换到上面压缩文件所在的目录(比如桌面),然后输入 tar -xzf P

  • vitrualBox+ubuntu16.04安装python3.6最新教程及详细步骤

    因为这两天在学习深度学习需要用到ubuntu+python3.6版本,所以就按照网上的教学安装,但是ubuntu16.04自带的是python2.7和3.5版本,所以需要另外安装.但是安装了半天浪费了一整天时间踩了各种坑.最后终于成功了.因此写下此教程帮助后人,免走歪路. 以下是一路安装时的一些tips: 安装ubuntu16时,最后会下载语言包,因为是用的国外的源,需要花费大量时间,因此可以先点击skip跳过.后面修改源再来继续安装. 在搜索里找到软件和更新,里面可以切换下载源,我选的是阿里云

  • WIndows10系统下面安装Anaconda、Pycharm及Pytorch环境全过程(NVIDIA GPU版本)

    目录 1.判断电脑是否具有GPU 2. 安装Anaconda 3. 创建虚拟环境 3.1 利用conda命令创建虚拟环境 4. GPU和CUDA准备工作 5. 安装Pytorch 6. 验证Pytorch 7. 安装PyCharm并进行配置 总结 1.判断电脑是否具有GPU 打开电脑任务管理器,进入性能选项,看是否有带有Nvidia的GPU的标识 或者,在桌面点击鼠标右键,看见NVIDIA控制面板也是可以的 2. 安装Anaconda 进入Anaconda的官方网站 Anaconda官网 网站会

  • 在虚拟机virtualbox中安装ubuntu的图文教程

    在虚拟机virtualbox中安装ubuntu的图文教程

    距离ubuntu最新版发布已经差不多半年了,博主近来对linux系统有了兴趣,奈何资金不足无法购置一台新机来安装ubuntu.所以想到了虚拟机. 虚拟机的选择 VMwareWorkstation,功能强大,虚拟机的显卡也不错.VMware缺点是很不绿色,会对你的系统有一些影响.而vmare workstation本身有点臃肿,占用系统资源比较多. Virtualbox虚拟机相对比VMWare workstation轻量级一些,运行一般的游戏的话,性能不输于vmware.但是配置起来相对麻烦,而且

随机推荐