Python2.7Étapes de l'installation du cadre Scrapy pour installation sous

En raison des exigences du projet de fin d'études, il est nécessaire de capturer une grande quantité de données sur le site Web, alors l'utilisation du cadre Scrapy rend ce processus beaucoup plus simple, car Scrapy est un cadre d'application écrit pour爬取网站数据、提取结构化数据。Ainsi, j'ai commencé mon voyage d'installation du cadre Scrapy. On peut dire que ce processus n'a pas été très agréable, avec toutes sortes d'erreurs, mais finalement, j'ai réussi à installer le cadre Scrapy. Voici un résumé de l'installation de mon cadre Scrapy.

1.Installer python2.7

Scrapy ne prend pas en charge Python3.0, donc j'ai désinstallé Python3.0, puis réinstaller Python2.7(python2.7le paquet), lors de l'installation de Python2.7Il y a une option de configuration automatique des variables d'environnement, il est recommandé de cocher cette option ici pour éviter d'avoir à ajouter manuellement les variables d'environnement plus tard. Ajouter manuellement les variables d'environnement plus tard, c'est selon le chemin d'installation réel, ajouter ces deux phrases aux variables d'environnement systeme path.

Après avoir configuré l'environnement, nous testons si nous avons réussi à installer et configurer l'environnement. Il suffit d'entrer python –version dans cmd, puis de pouvoir afficher la version correcte de python. Si cela ne fonctionne pas, redémarrez cmd et essayez à nouveau.

2.Installer pywin32

Après avoir installé et configuré python2.7Ensuite, nous ne pouvons pas installer Scrapy directement, nous devons d'abord installer plusieurs outils dépendants de Scrapy. Ensuite, installons pywin32(pywin32le paquet), lors de l'installation de ce logiciel, il suffit de cliquer sur next à chaque fois.

3.Installer pip

pip est en fait un outil d'installation de logiciels en ligne très pratique, similaire à easy install, nous installons pip maintenant, nous pouvons utiliser la commande pip install pour installer des logiciels à l'avenir. Tout d'abord, nous devons télécharger get-pip.py(get-le fichier pip.py) après le téléchargement, nous procédons à l'installation sous cmd, d'abord changez de répertoire de fichiers, puis entrez python get-l'instruction pip.py, vous pouvez procéder à l'installation, mais le problème le plus pénible est apparu, car ce fichier écrit automatiquement certains fichiers de configuration dans le répertoire de fichiers utilisateur de notre C: \ Users, et mon répertoire utilisateur est un nom chinois, ce qui entraîne une exception de codage.

Après avoir cherché un certain temps, j'ai enfin résolu le problème, pour résoudre le problème de chemin de fichier chinois, il suffit de le faire dans D:\python27\Lib\site-Dans le répertoire packages, créez un répertoire nommé
le fichier sitecustomize.py.

Ensuite, entrez le code suivant dans le fichier :

import sys
reload(sys)
sys.setdefaultencoding('gbk')

Bien sûr, il n'est pas nécessaire de configurer l'encodage en gbk, cela dépend de l'encodage de l'ordinateur. De cette manière, nous avons résolu le problème de chemin de fichier chinois, après avoir redémarré cmd et exécuté l'instruction d'installation de pip, pip s'est installé sans encombre. Après l'installation, nous pouvons faire un test, en entrant pip –version dans cmd, si le numéro de version affiché est correct, cela signifie que c'est correct.

4.Installation de lxml

Après l'installation de pip, j'espérais pouvoir utiliser facilement la commande pip install lxml pour installer, mais une surprise s'est produite, car pip nécessite vc2008environnement, et ne peut être que2008de2013Les autres ne fonctionnent pas. Pour utiliser cet outil, nous devons demander à la Doudou, finalement, nous avons trouvé la solution, Microsoft nous a fourni VcForPython (paquet d'installation VcForPython), ainsi nous n'avons pas besoin d'installer VC2008Après cela, nous pouvons utiliser pip install lxml pour installer.

5.Installation de pyOpenSSL

Lorsque nous installons cet outil, nous pouvons utiliser la commande pip install pyOpenSSL pour l'installer, la vitesse de l'installation dépend de la vitesse de connexion.

6.Installation de Scrapy

Après avoir traversé une période de difficultés, nous pouvons enfin installer le cadre Scrapy, après avoir tapé la commande pip install Scrapy dans cmd, nous pouvons attendre le bonheur de la réussite. Une fois l'installation terminée, tapez Scrapy dans cmd pour vérifier si l'installation a réussi.

Finalement, l'installation est terminée, on a un peu de sentiment de réussite.

C'est tout pour cet article, j'espère que cela peut aider à votre apprentissage, et j'espère que vous soutenirez également le tutoriel à crier.

Déclaration : le contenu de cet article est hébergé sur Internet, propriété de ses auteurs respectifs, contribué et téléversé par les utilisateurs d'Internet, ce site n'a pas de propriété, n'a pas été édité par l'homme, ni n'assume la responsabilité juridique pertinente. Si vous trouvez du contenu présumé enfreindre les droits d'auteur, veuillez envoyer un email à : notice#oldtoolbag.com (veuillez remplacer # par @ lors de l'envoi d'un email pour signaler une violation de droits d'auteur, et fournir des preuves pertinentes. Une fois vérifié, le site supprimera immédiatement le contenu présumé enfreindre les droits d'auteur.)