python3编写网络爬虫17-验证码识别

https://digi.bib.uni-mannheim.de/tesseract/

pip install tesserocr pillow

import pip

import pip._internal

print(pip._internal.pep425tags.get_supported())

https://github.com/simonflueckiger/tesserocr-windows_build/releases

import tesserocr

from PIL import Image

image = Image.open('code.jpg') #新建image对象

result = tesserocr.image_to_text(image)#调用imgae_to_text方法 传入image对象

print(result)

import tesserocr

print(tesserocr.file_to_text('code.jpg')) #不过此种方法识别效果不如上一种方法好

image = image.convert('L')

image.show()

image = image.convert('')

image.show()

image = image.convert('L')

threshold = 80#二值化阀值

table = []

for i in range(256):

if i < threshold:

table.append(0)

else:

table.append(1)

image = image.point(table,'')

image.show()

import tesserocr

from PIL import Image

image = Image.open('code1.jpg')

image = image.convert('L')

threshold = 127

table = []

for i in range(256):

if i < threshold:

table.append(0)

else:

table.append(1)

image = image.point(table, '')

image.show()

result = tesserocr.image_to_text(image)

print(result)

http://www.cnbaowen.net/api/geetest/

 http://www.cnbaowen.net/api/geetest/

from selenium import webdriver

from selenium.webdriver.support.ui import WebDriverWait # 等待元素加载的

from selenium.webdriver.common.action_chains import ActionChains #拖拽

from selenium.webdriver.support import expected_conditions as EC

from selenium.common.exceptions import TimeoutException, NoSuchElementException

from selenium.webdriver.common.by import By

from PIL import Image

import requests

import time

import re

import random

from io import BytesIO

def merge_image(image_file,location_list):

　　"""

　　　　拼接图片

　　　　:param image_file:

　　　　:param location_list:

　　　　:return:

　　"""

　　im = Image.open(image_file)

　　im.save('Code.jpg')

　　new_im = Image.new('RGB',(260,116))

　　# 把无序的图片 切成52张小图片

　　im_list_upper = []

　　im_list_down = []

　　# print(location_list)

　　for location in location_list:

　　　　# print(location['y'])

　　　　if location['y'] == -58: # 上半边

　　　　　　im_list_upper.append(im.crop((abs(location['x']),58,abs(location['x'])+10,116)))

　　　　if location['y'] == 0: # 下半边

　　　　　　im_list_down.append(im.crop((abs(location['x']),0,abs(location['x'])+10,58)))

　　x_offset = 0

　　for im in im_list_upper:

　　　　new_im.paste(im,(x_offset,0)) # 把小图片放到 新的空白图片上

　　　　x_offset += im.size[0]

　　x_offset = 0

　　for im in im_list_down:

　　　　new_im.paste(im,(x_offset,58))

　　　　x_offset += im.size[0]

　　　　new_im.show()

　　return new_im

def get_image(driver,div_path):

　　'''

　　　　下载无序的图片 然后进行拼接 获得完整的图片

　　　　:param driver:

　　　　:param div_path:

　　　　:return:

　　'''

　　time.sleep(2)

　　background_images = driver.find_elements_by_xpath(div_path)

　　location_list = []

　　for background_image in background_images:

　　　　location = {}

　　　　result = re.findall('background-image: url\("(.*?)"\); background-position: (.*?)px (.*?)px;',background_image.get_attribute('style'))

　　　　# print(result)

　　　　location['x'] = int(result[0][1])

　　　　location['y'] = int(result[0][2])

　　　　image_url = result[0][0]

　　　　location_list.append(location)

　　print('==================================')

　　image_url = image_url.replace('webp','jpg')

　　# '替换url http://static.geetest.com/pictures/gt/579066de6/579066de6.webp'

　　image_result = requests.get(image_url).content

　　# with open('1.jpg','wb') as f:

　　# f.write(image_result)

　　image_file = BytesIO(image_result) # 是一张无序的图片

　　image = merge_image(image_file,location_list)

　　return image

def get_track(distance):

　　'''

　　　　拿到移动轨迹，模仿人的滑动行为，先匀加速后匀减速

　　　　匀变速运动基本公式：

　　　　①v=v0+at

　　　　②s=v0t+(1/2)at²

　　　　③v²-v0²=2as

　　　　:param distance: 需要移动的距离

　　　　:return: 存放每0.2秒移动的距离

　　'''

　　# 初速度

　　v=0

　　# 单位时间为0.2s来统计轨迹，轨迹即0.2内的位移

　　t=0.2

　　# 位移/轨迹列表，列表内的一个元素代表0.2s的位移

　　tracks=[]

　　# 当前的位移

　　current=0

　　# 到达mid值开始减速

　　mid=distance * 7/8

　　distance += 10 # 先滑过一点，最后再反着滑动回来

　　# a = random.randint(1,3)

　　while current < distance:

　　　　if current < mid:

　　　　　　# 加速度越小，单位时间的位移越小,模拟的轨迹就越多越详细

　　　　　　a = random.randint(2,4) # 加速运动

　　　　else:

　　　　　　a = -random.randint(3,5) # 减速运动

　　　　# 初速度

　　　　v0 = v

　　　　# 0.2秒时间内的位移

　　　　s = v0*t+0.5*a*(t**2)

　　　　# 当前的位置

　　　　current += s

　　　　# 添加到轨迹列表

　　　　tracks.append(round(s))

　　　　# 速度已经达到v,该速度作为下次的初速度

　　　　v= v0+a*t

　　　　# 反着滑动到大概准确位置

　　for i in range(4):

　　　　tracks.append(-random.randint(2,3))

　　for i in range(4):

　　　　tracks.append(-random.randint(1,3))

　　return tracks

def get_distance(image1,image2):

　　'''

　　　　拿到滑动验证码需要移动的距离

　　　　:param image1:没有缺口的图片对象

　　　　:param image2:带缺口的图片对象

　　　　:return:需要移动的距离

　　'''

　　# print('size', image1.size)

　　threshold = 60

　　for i in range(0,image1.size[0]): #

　　　　for j in range(0,image1.size[1]): #

　　　　　　pixel1 = image1.getpixel((i,j))

　　　　　　pixel2 = image2.getpixel((i,j))

　　　　　　res_R = abs(pixel1[0]-pixel2[0]) # 计算RGB差

　　　　　　res_G = abs(pixel1[1] - pixel2[1]) # 计算RGB差

　　　　　　res_B = abs(pixel1[2] - pixel2[2]) # 计算RGB差

　　　　　　if res_R > threshold and res_G > threshold and res_B > threshold:

　　　　　　　　return i # 需要移动的距离

def main_check_code(driver, element):

　　"""

　　　　拖动识别验证码

　　　　:param driver:

　　　　:param element:

　　　　:return:

　　"""

　　image1 = get_image(driver, '//div[@class="gt_cut_bg gt_show"]/div')

　　image2 = get_image(driver, '//div[@class="gt_cut_fullbg gt_show"]/div')

　　# 图片上 缺口的位置的x坐标

　　

　　# 2 对比两张图片的所有RBG像素点，得到不一样像素点的x值，即要移动的距离

　　l = get_distance(image1, image2)

　　print('l=',l)

　　# 3 获得移动轨迹

　　track_list = get_track(l)

　　print('第一步,点击滑动按钮')

　　ActionChains(driver).click_and_hold(on_element=element).perform() # 点击鼠标左键，按住不放

　　time.sleep(2)

　　print('第二步,拖动元素')

　　for track in track_list:

　　　　ActionChains(driver).move_by_offset(xoffset=track, yoffset=0).perform() # 鼠标移动到距离当前位置（x,y）

　　　　time.sleep(0.002)

　　ActionChains(driver).move_by_offset(xoffset=-random.randint(2,5), yoffset=0).perform()

　　time.sleep(2)

　　print('第三步,释放鼠标')

　　ActionChains(driver).release(on_element=element).perform()

　　time.sleep(5)

def main_check_slider(driver):

　　"""

　　　　检查滑动按钮是否加载

　　　　:param driver:

　　　　:return:

　　"""

　　while True:

　　　　try :

　　　　　　driver.get('http://www.cnbaowen.net/api/geetest/')

　　　　　　element = WebDriverWait(driver, 30, 0.5).until(EC.element_to_be_clickable((By.CLASS_NAME, 'gt_slider_knob')))

　　　　　　if element:

　　　　　　　　return element

　　　　except TimeoutException as e:

　　　　　　print('超时错误，继续')

　　　　　　time.sleep(5)

if __name__ == '__main__':

　　try:

　　　　count = 6 # 最多识别6次

　　　　driver = webdriver.Chrome()

　　　　# 等待滑动按钮加载完成

　　　　element = main_check_slider(driver)

　　　　while count > 0:

　　　　　　main_check_code(driver,element)

　　　　　　time.sleep(2)

　　　　　　try:

　　　　　　　　success_element = (By.CSS_SELECTOR, '.gt_holder .gt_ajax_tip.gt_success')

　　　　　　　　# 得到成功标志

　　　　　　　　print('suc=',driver.find_element_by_css_selector('.gt_holder .gt_ajax_tip.gt_success'))

　　　　　　　　success_images = WebDriverWait(driver, 20).until(EC.presence_of_element_located(success_element))

　　　　　　　　if success_images:

　　　　　　　　　　print('成功识别')

　　　　　　　　　　count = 0

　　　　　　　　　　break

　　　　　　except NoSuchElementException as e:

　　　　　　　　print('识别错误，继续识别')

　　　　　　　　ount -= 1

　　　　　　　　time.sleep(2)

　　　　else:

　　　　　　print('too many attempt check code ')

　　　　　　exit('退出程序')

　　finally:

　　　　driver.close()

https://www.jianshu.com/sign_in

http://www.chaojiying.com/user/reg/

http://www.chaojiying.com/api-14.html

#!/usr/bin/env python

# coding:utf-8

import requests

from hashlib import md5

class Chaojiying_Client(object):

　　def __init__(self, username, password, soft_id):

　　　　self.username = username

　　　　password = password.encode('utf8')

　　　　self.password = md5(password).hexdigest()

　　　　self.soft_id = soft_id

　　　　self.base_params = {

　　　　　　'user': self.username,

　　　　　　'pass2': self.password,

　　　　　　'softid': self.soft_id,

　　　　}

　　　　self.headers = {

　　　　　　'Connection': 'Keep-Alive',

　　　　　　'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',

　　　　}

　　def PostPic(self, im, codetype):

　　　　"""

　　　　　　im: 图片字节

　　　　　　codetype: 题目类型 参考 http://www.chaojiying.com/price.html

　　　　"""

　　　　params = {

　　　　　　'codetype': codetype,

　　　　}

　　　　params.update(self.base_params)

　　　　files = {'userfile': ('ccc.jpg', im)}

　　　　r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files, headers=self.headers)

　　　　return r.json()

　　def ReportError(self, im_id):

　　　　"""

　　　　　　im_id:报错题目的图片ID

　　　　"""

　　　　params = {

　　　　　　'id': im_id,

　　　　}

　　　　params.update(self.base_params)

　　　　r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers)

　　　　return r.json()

if __name__ == '__main__':

　　chaojiying = Chaojiying_Client('超级鹰用户名', '超级鹰用户名的密码', '')    #用户中心>>软件ID 生成一个替换 96001

　　im = open('a.jpg', 'rb').read()    #本地图片文件路径 来替换 a.jpg 有时WIN系统须要//

　　print chaojiying.PostPic(im, 1902)    #1902 验证码类型 官方网站>>价格体系 3.4+版 print 后要加()

import time

from PIL import Image

from selenium import webdriver

from selenium.webdriver import ActionChains

from chaojiying import Chaojiying

def crack():

　　# 保存网页截图

　　browser.save_screenshot('222.jpg')

　　# 获取 验证码确定按钮

　　button = browser.find_element_by_xpath(xpath='//div[@class="geetest_panel"]/a/div')

　　# 获取 验证码图片的 位置信息

　　img1 = browser.find_element_by_xpath(xpath='//div[@class="geetest_widget"]')

　　location = img1.location

　　size = img1.size

　　top, bottom, left, right = location['y'], location['y'] + size['height'], location['x'], location['x'] + size[

　　　　'width']

　　print('图片的宽:', img1.size['width'])

　　print(top, bottom, left, right)

　　# 根据获取的验证码位置信息和网页图片 对验证码图片进行裁剪 保存

　　img_1 = Image.open('222.jpg')

　　capcha1 = img_1.crop((left, top, right, bottom - 54))

　　capcha1.save('tu1-1.png')

　　# 接入超级鹰 API 获取图片中的一些参数 (返回的是一个字典)

　　cjy = Chaojiying('liuxiaosong', '', '')

　　im = open('tu1-1.png', 'rb').read()

　　content = cjy.post_pic(im, 9004)

　　print(content)

　　# 将图片中汉字的坐标位置 提取出来

　　positions = content.get('pic_str').split('|')

　　locations = [[int(number) for number in group.split(",")] for group in positions]

　　print(positions)

　　print(locations)

　　# 根据获取的坐标信息 模仿鼠标点击验证码图片

　　for location1 in locations:

　　　　print(location1)

　　　　ActionChains(browser).move_to_element_with_offset(img1, location1[0], location1[1]).click().perform()

　　　　time.sleep(1)

　　button.click()

　　time.sleep(1)

　　# 失败后重试

　　lower = browser.find_element_by_xpath('//div[@class="geetest_table_box"]/div[2]').text

　　print('判断', lower)

　　if lower != '验证失败 请按提示重新操作' and lower != None:

　　　　print('登录成功')

　　　　time.sleep(3)

　　else:

　　　　time.sleep(3)

　　　　print('登录失败')

　　　　# 登录失败后 , 调用 该函数 , 后台 则对该次判断不做扣分处理

　　　　pic_id = content.get('pic_id')

　　　　print('图片id为:', pic_id)

　　　　cjy = Chaojiying('liuxiaosong', '', '')

　　　　cjy.report_error(pic_id)

　　　　crack()

if __name__ == '__main__':

　　browser = webdriver.Chrome()

　　browser.get('https://www.jianshu.com/sign_in')

　　browser.save_screenshot('login.png')

　　# 填写from表单 点击登陆 获取验证码 的网页截图

　　login = browser.find_element_by_id('sign-in-form-submit-btn')

　　username = browser.find_element_by_id('session_email_or_mobile_number')

　　password = browser.find_element_by_id('session_password')

　　username.send_keys('')

　　time.sleep(1)

　　password.send_keys('')

　　time.sleep(2)

　　login.click()

　　time.sleep(10)

　　crack()

from urllib.error import URLError

from urllib.request import ProxyHandler,build_opener

proxy = '127.0.0.1:14155'

proxy_handler = ProxyHandler({

　　'http':'http://' + proxy,

　　'https':'https://' + proxy

　　})

opener = build_opener(proxy_handler)

try:

　　response = opener.open('http://httpbin.org/get')

　　print(response.read().decode('utf-8'))

except URLError as e:

　　print(e.reason)

import requests

proxy = '127.0.0.1:14155'

proxies = {

　　'http': 'http://' + proxy,

　　'https': 'https://' + proxy,

}

try:

　　response = requests.get('http://httpbin.org/get', proxies=proxies)

　　print(response.text)

except requests.exceptions.ConnectionError as e:

　　print('Error', e.args)

from selenium import webdriver

proxy = '127.0.0.1:14155'

chrome_options = webdriver.ChromeOptions()

chrome_options.add_argument('--proxy-server=http://' + proxy)

chrome = webdriver.Chrome(chrome_options=chrome_options)

chrome.get('http://httpbin.org/get')

from selenium import webdriver

from selenium.webdriver.chrome.options import Options

import zipfile

ip = '127.0.0.1'

port = 14155

username = 'liuxiaosong'

password = ''

manifest_json = """

{

　　"version": "1.0.0",

　　"manifest_version": 2,

　　"name": "Chrome Proxy",

　　"permissions": [

　　"proxy",

　　"tabs",

　　"unlimitedStorage",

　　"storage",

　　"<all_urls>",

　　"webRequest",

　　"webRequestBlocking"

　　],

　　"background": {

　　"scripts": ["background.js"]

　　}

}

"""

background_js = """

var config = {

　　mode: "fixed_servers",

　　rules: {

　　　　singleProxy: {

　　　　　　scheme: "http",

　　　　　　host: "%(ip)s",

　　　　　　port: %(port)s

　　　　}

　　}

}

chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});

function callbackFn(details) {

　　return {

　　　　authCredentials: {

　　　　　　username: "%(username)s",

　　　　　　password: "%(password)s"

　　　　}

　　}

}

chrome.webRequest.onAuthRequired.addListener(

　　callbackFn,

　　{urls: ["<all_urls>"]},

　　['blocking']

)

""" % {'ip': ip, 'port': port, 'username': username, 'password': password}

plugin_file = 'proxy_auth_plugin.zip'

with zipfile.ZipFile(plugin_file, 'w') as zp:

　　zp.writestr("manifest.json", manifest_json)

　　zp.writestr("background.js", background_js)

chrome_options = Options()

chrome_options.add_argument("--start-maximized")

chrome_options.add_extension(plugin_file)

browser = webdriver.Chrome(chrome_options=chrome_options)

browser.get('http://httpbin.org/get')

from selenium import webdriver

browser = webdriver.PhantomJS()

browser.get('https://www.baidu.com')

print(browser.current_url)

from selenium import webdriver

from selenium.webdriver.chrome.options import Options

chrome_options = Options()

chrome_options.add_argument('--headless')

chrome_options.add_argument('--disable-gpu')#上面三行代码就是为了将Chrome不弹出界面，实现无界面爬取

browser = webdriver.Chrome(chrome_options=chrome_options)

from selenium import webdriver

service_args = [

　　'--proxy=127.0.0.1:9743',

　　'--proxy-type=http'

]

browser = webdriver.PhantomJS(service_args=service_args)

browser.get('http://httpbin.org/get')

print(browser.page_source)

from selenium import webdriver

service_args = [

　　'--proxy=127.0.0.1:9743',

　　'--proxy-type=http',

　　'--proxy-auth=username:password'

]

browser = webdriver.PhantomJS(service_args=service_args)

browser.get('http://httpbin.org/get')

print(browser.page_source)