Pycharm安装scrapy及初始化爬虫项目的完整步骤

目录
  • 一）安装scrapy：
  • 二）创建一个scrapy爬虫项目：
  • 三）开启pycharm对scrapy框架的调试功能：
  • 总结

一）安装scrapy：

1、打开cmd命令窗口，输入：pip install Scrapy。

2、安装成功之后会显示下面字符，表示未将scrapy设置到环境变量。

3、配置环境变量：右键我的电脑-->属性-->高级设置--->环境变量---->系统变量中的Path--->编辑--->添加--->将上文中黄色的路径添加到环境变量即可。

4、scrapy安装完毕。

二）创建一个scrapy爬虫项目：

1、创建一个普通的Pycharm项目，然后找到下面的terminal

2、输入命令scrapy startproject 模块名称(可以自己随便起，我以名为mine为例)，成功之后你会发现自己的项目中多了一个mine的包文件。

3、上述操作成功后终端会显示下图文字：此时我们输入cd那条命令。进入目标文件。

4、这时就可以创建爬虫目标文件啦，

输入scrapy genspider 爬取名 网站域名

1、爬取名是自己随便起的，比如我要爬百度那么我就可以起名为baidu

2、网站域名就是去掉  https:www.  剩下的部分，以博客园的为例：

网址为：https://www.cnblogs.com/

域名为 cnblogs.com

 2和3操作截图： 

5、此时我们会在目录里看见一个新的py文件：里自动生成如下代码：

三）开启pycharm对scrapy框架的调试功能：

由于pycharm没有创建scrapy框架的模块，所以我们想调试scrapy程序时要自己写一个小脚本来开启pycharm对scrapy的调试功能。

1、在与mine包同级条件下创建一个main.py文件：

2、mine文件将一下代码赋值进去：

import os
import sys

from scrapy.cmdline import execute

sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy", "crawl", "cnblog"])  # 第三个参数为自己创建的那个爬取的名称

这样就大功告成啦！

总结

到此这篇关于Pycharm安装scrapy及初始化爬虫项目的文章就介绍到这了,更多相关Pycharm安装scrapy初始化爬虫项目内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • 在pycharm创建scrapy项目的实现步骤

    在pycharm创建scrapy项目的实现步骤

    步骤很简单,直接进入主题. 第一步: 创建一个python项目.解析器什么的自己选择,环境目录默认就好. 第二步: 下载scrapy,步骤file->settings->project Interpreter 然后下载scrapy,下载前建议更改或添加下载源,否则容易超时出错. 第三步: 左下角找Terminal,点击Terminal进行终端交互,然后输入项目创建命令.scrapy startproject Testscr (Testscr是你对应的项目命),创建成功后刷新一下项目或者直接cd

  • 解决pycharm安装scrapy DLL load failed:找不到指定的程序的问题

    解决pycharm安装scrapy DLL load failed:找不到指定的程序的问题

    Note: 本解决方案在window10 + anaconda3 +pycharm2020.1.1 + scrapy安装亲测可用 问题:安装Scrapy后,执行scrapy出现: from cryptography.hazmat.bindings._openssl import ffi ImportError: DLL load failed:找不到指定的程序 个人认为是Anaconda和Pycharm的部分Python库不能互相调用 即对于某些库,Anaconda存在相同的库,在pycharm

  • pycharm创建scrapy项目教程及遇到的坑解析

    pycharm创建scrapy项目教程及遇到的坑解析

    前言 最近学习scrapy爬虫框架,在使用pycharm安装scrapy类库及创建scrapy项目时花费了好长的时间,遇到各种坑,根据网上的各种教程,花费了一晚上的时间,终于成功,其中也踩了一些坑,现在整理下相关教程,希望帮助那些遇到和我一样问题的码农. 1.环境 操作系统:windows10. python版本:python3.7,必须使用Anaconda,目前是Anaconda5.3.1.下载地址:https://www.anaconda.com/download/ 下载64位的安装包.sc

  • pycharm无法安装第三方库的问题及解决方法以scrapy为例(图解)

    很多次遇到在pycharm中无法安装第三方库的情况,今天我就遇到了,找了很多办法都没用 但是在pycharm中配置anaconda环境之后再从anaconda下载安装你所需要的库就可以diy完决你的问题了 第一步安装anaconda,这个我就不说了,网上很多方法,自己找 第二步配置anaconda环境到pycharm,这我来给你们说说 打开pychram,file->settings 然后选择project Interpreter 把project Interpreter复选框里面的地址换成你安

  • Pycharm+Scrapy安装并且初始化项目的方法

    前言 Scrapy是一个开源的网络爬虫框架,Python编写的.最初设计用于网页抓取,也可以用来提取数据使用API或作为一个通用的网络爬虫.是数据采集不可必备的利器. 安装 pip install scrapy 如果使用上面的命令太慢.国内可以使用豆瓣源进行加速. pip install -i https://pypi.douban.com/simple scrapy 注意要写错了,是 https://pypi.douban.com/simple 很多包都可以使用这个源进行加速,这也是pip的一

  • pycharm下打开、执行并调试scrapy爬虫程序的方法

    pycharm下打开、执行并调试scrapy爬虫程序的方法

    首先得有一个Scrapy项目,我在Desktop上新建一个Scrapy的项目叫test,在Desktop目录打开命令行,键入命令:scrapy startproject test1 目录结构如下: 打开Pycharm,选择open 选择项目,ok 打开如下界面之后,按alt + 1, 打开project 面板 在test1/spiders/,文件夹下,新建一个爬虫spider.py, 注意代码中的name="dmoz".这个名字后面会用到. 在test1目录和scrapy.cfg同级目

  • Pycharm安装scrapy及初始化爬虫项目的完整步骤

    Pycharm安装scrapy及初始化爬虫项目的完整步骤

    目录 一)安装scrapy: 二)创建一个scrapy爬虫项目: 三)开启pycharm对scrapy框架的调试功能: 总结 一)安装scrapy: 1.打开cmd命令窗口,输入:pip install Scrapy. 2.安装成功之后会显示下面字符,表示未将scrapy设置到环境变量. 3.配置环境变量:右键我的电脑-->属性-->高级设置--->环境变量---->系统变量中的Path--->编辑--->添加--->将上文中黄色的路径添加到环境变量即可. 4.s

  • VSCode创建Vue项目的完整步骤教程

    VSCode创建Vue项目的完整步骤教程

    目录 一.配置环境 1.安装VS Code 2.安装node.js 3.安装配置脚手架vue-cli 二.创建vue项目 1.命令方式创建 2.重新初始化依赖 3.启动项目 补充:在VScode中如何使用vue代码 总结 一.配置环境 1.安装VS Code 官网下载 https://code.visualstudio.com/ 下载VS Code,按照步骤安装. 2.安装node.js (1)官网 https://nodejs.org/en/ 下载node.js,按照步骤安装即可,node.j

  • 手把手教你搭建一个vue项目的完整步骤

    手把手教你搭建一个vue项目的完整步骤

    目录 一.环境准备 1.安装node.js 2.检查node.js版本 3.为了提高我们的效率,可以使用淘宝的镜像源 二.搭建vue环境 1.全局安装vue-cli 三.创建vue项目 1.用cmd命令创建项目 1.1创建文件 1.2选择配置信息 1.3选择版本 1.4路径模式选择 1.5语法代码格式检查 1.6第三方文件存在的方式 1.7是否保存本次配置信息(保存预设) 1.8创建成功 1.9运行 1.10启动 1.11停止服务 2.用vue资源管理器创建 2.1进入vue资源管理器界面(vu

  • Spring Boot利用Docker快速部署项目的完整步骤

    Spring Boot利用Docker快速部署项目的完整步骤

    1.简介 建议阅读本文最好对Dokcer有一些了解 首先我们先了解一下Docker是什么 Docker 属于 Linux 容器的一种封装,提供简单易用的容器使用接口.它是目前最流行的 Linux 容器解决方案. Docker 将应用程序与该程序的依赖,打包在一个文件里面.运行这个文件,就会生成一个虚拟容器.程序在这个虚拟容器里运行,就好像在真实的物理机上运行一样.有了 Docker,就不用担心环境问题. 总体来说,Docker 的接口相当简单,用户可以方便地创建和使用容器,把自己的应用放入容器.

  • Docker部署Python爬虫项目的方法步骤

    1) 首先安装docker: # 用 yum 安装并启动 yum install docker -y && systemctl start docker 2) 下载自定义镜像需要用到的基础镜像: # 这里以centos7为例 docker pull centos:centos7 3) 基础镜像已经准备好了,接下来准备好需要部署的环境服务,以及python项目: ### 创建 dockerfile 文件 mkdir dockerfile && cd dockerfile ##

  • 配置一个vue3.0项目的完整步骤

    说起来有点丢人,我已经使用vue好久了,但是怎么从0开始配置一个vue项目,每次还是要百度.这次决定写个博客,加强下记忆,如果再记不住就直播自己的女朋友洗澡. 以下以新建一个图书管理项目为例.我使用vue3新建项目,对于创建一个项目来说,vue3真的比vue2简单很多. 1.初始化项目 1.1全局安装vue-cli 创建vue项目,首先要确保全局安装了vue命令行工具. 我这边使用yarn而不用npm,因为yarn要比npm好用的多,强烈推荐使用.如果大家对yarn不熟悉,我这边免费赠送我的ya

  • 基于Vue-cli快速搭建项目的完整步骤

    基于Vue-cli快速搭建项目的完整步骤

    前言 vue-cli 是一个官方发布 vue.js 项目脚手架,Vue-cli可以快速帮助我们创建一个项目,这是官方给我们提供的脚手架.下面我说一下vue-cli的使用方法. 下面话不多说了,来一起看看详细的介绍吧 一.准备工作 在使用vue-cli时,首先需要安装nodejs,npm,其次需全局安装vue和vue-cli 1.nodejs和npm安装方法详见:https://www.jb51.net/article/90518.htm 2.npm install -g vue 3.npm in

  • ubuntu中利用nginx部署vue项目的完整步骤

    ubuntu中利用nginx部署vue项目的完整步骤

    目录 1.安装nginx 2.打包上传vue项目到服务器 配置nginx 访问vue项目 常见错误 总结 1.安装nginx 更新源列表 apt-get update 安装nginx apt-get install nginx 检查nginx是否安装,输入如下命令后若出现版本号则安装成功 nginx -v 启动nginx server nginx restart 在浏览器输入ip地址,若出现如下页面则启动成功 2. 打包上传vue项目到服务器 打包 我的项目使用的是vs code,在终端输入如下

  • nginx通过https部署vue项目的完整步骤

    目录 一.生成证书 进入nginx安装目录 创建ssl文件目录 生成server.key,需要设置两次密码 生成无密码的server.key 创建服务器证书的申请文件 server.csr 生成crt证书文件server.crt 二.nginx配置 三.修改vue配置文件 总结 本篇主要记录vue项目,通过nginx实现https部署的免费方案.主要参考步骤和关键点如下所示. 一.生成证书 进入nginx安装目录 # 进入nginx目录 [root@hecs-402944 nginx]# cd

随机推荐