pyppeteer执行js绕过webdriver监测方法下

import asyncio
from pyppeteer import launch
async def main():
    # headless参数设为False，则变成有头模式
    browser = await launch(
        {'headless': False}
    )
    # 打开一个页面
    page = await browser.newPage()
    # 超时间见 10000 毫秒
    res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
    # 等待
    await asyncio.sleep(2)
    print(await page.content())  # 返回html代码
    resp_headers = res.headers  # 响应头
    resp_status = res.status  # 响应状态
# 程序启动入口
asyncio.get_event_loop().run_until_complete(main())

# 设置页面视图大小
await page.setViewport(viewport={'width': 1280, 'height': 800})
# 是否启用JS，enabled设为False，则无渲染效果
await page.setJavaScriptEnabled(enabled=True)
# 超时间见 10000 毫秒
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
# 截图 保存图片
await page.screenshot({'path': 'cnblog.png'})

async def main():
    # headless参数设为False，则变成有头模式
    browser = await launch(
        {'headless': False}
    )
    # 打开一个页面
    page = await browser.newPage()
    # 超时间见 10000 毫秒
    res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
    # 等待
    await asyncio.sleep(2)
	resp_headers = res.headers  # 响应头
    resp_status = res.status  # 响应状态
    cookies = page.cookies()
    print(resp_headers)
    print(resp_status)
    print(page.cookies())
# 程序启动入口
asyncio.get_event_loop().run_until_complete(main())

print(await page.title())

import asyncio
from pyppeteer import launch
async def main():
    # headless参数设为False，则变成有头模式
    browser = await launch(
        {'headless': False}
    )
     # 打开一个页面
    page = await browser.newPage()
	# 是否启用JS，enabled设为False，则无渲染效果
    await page.setJavaScriptEnabled(enabled=True)
    # 超时间见 10000 毫秒
    res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
    # 等待
    await asyncio.sleep(2)
    print(await page.content())  # 返回html代码

 res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
 # 等待
 await asyncio.sleep(2)
print(await page.content())  # 返回html代码

res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
content = await page.evaluate(pageFunction='document.body.textContent', force_expr=True)
print(content)

res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
# 滑到底部
await page.evaluate('window.scrollBy(0, document.body.scrollHeight)')
# js
window.scrollTo(0,100)  # 向下滑动100
window.scrollTo(0,500)  # 向下滑动500
window.scrollTo(0,document.body.scrollHeight)  # 滑到底部
window.scrollTo(0,document.body.scrollHeight-500) # 滑到-500

Page.querySelector()  # CSS选择器
Page.querySelectorAll()  # CSS选择器选所有
Page.xpath()  # xpath选择器
# 简写方式为：
Page.J(), Page.JJ(), and Page.Jx()

res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
await page.evaluate('window.scrollBy(0, document.body.scrollHeight)')
# 方式一：获取h2标签内容--执行JS方式
element = await page.querySelector('h2')
title = await page.evaluate('(element) => element.textContent', element)
# 方式二：获取文本
element = await page.querySelector('h2')
title = await (await item.getProperty('textContent')).jsonValue()
# 方式三：获取属性src,href
element = await page.querySelector('h2')
title_link = await (await item.getProperty('href')).jsonValue()

async def get_html(url):
    browser = await pyppeteer.launch(headless=True, args=['--no-sandbox'])
    page = await  browser.newPage()
    res = await page.goto(url, options={'timeout': 3000})
    data = await page.content()
    title = await page.title()
    resp_cookies = await page.cookies()  # cookie
    resp_headers = res.headers  # 响应头
    resp_status = res.status  # 响应状态
    print(data)
    print(title)
    print(resp_headers)
    print(resp_status)
    return xxx

# 模拟输入 账号密码  {'delay': rand_int()} 为输入时间
await page.type('#fm-login-id', "用户名")
await page.type('#fm-login-password', "密码", )
await page.waitFor(1000) # 等待时间
await page.click("#J_SubmitStatic")  # 点击

import asyncio
from pyppeteer import launch
async def main():
    # headless参数设为False，则变成有头模式
    browser = await launch(
        {'headless': False}
    )
    # 打开一个页面
    page = await browser.newPage()
    await page.setViewport(viewport={'width': 1280, 'height': 800})
    res = await page.goto('https://login.taobao.com/', options={'timeout': 10000})
    await page.type('#fm-login-id', "123456")
    await page.type('#fm-login-password', "aaa", )
    await page.waitFor(1000)  # 等待时间
    slider = await page.querySelector('#nc_1_n1z') # 是否有滑块
    if slider:
        try:
            print('有滑块')
            await page.hover('#nc_1_n1z')  # 不同场景的验证码模块能名字不同。
            await page.mouse.down()
            # X，Y坐标，steps 是指分成几步来完成，steps越大，滑动速度越慢。(在源码中，steps是指移动到指定x,y 分段滑动的次数，但是每次启动滑动都会花费一定时间，可以认为steps是滑动的速度)
            # 如果是每次移动的距离，可以用for循环尝试正负移动
            await page.mouse.move(2000, 0, {'delay': random.randint(1000, 2000)})
            await page.mouse.up()
        except Exception as e:
            print(e)
            input('验证失败，人工登录：')
    else:
        print('没有滑块')
        input()
    await page.click("#login-form > div.fm-btn > button")  # 点击登录
# 程序启动入口
asyncio.get_event_loop().run_until_complete(main())

await page.evaluate(
        '''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''')  # 以下为插入中间js，将淘宝会为了检测浏览器而调用的js修改其结果。
await page.evaluate('''() =>{ window.navigator.chrome = { runtime: {},  }; }''')
await page.evaluate('''() =>{ Object.defineProperty(navigator, 'languages', { get: () => ['en-US', 'en'] }); }''')
await page.evaluate('''() =>{ Object.defineProperty(navigator, 'plugins', { get: () => [1, 2, 3, 4, 5,6], }); }''')
# 使用type选定页面元素，并修改其数值，用于输入账号密码，修改的速度仿人类操作，因为有个输入速度的检测机制
# 因为 pyppeteer 框架需要转换为js操作，而js和python的类型定义不同，所以写法与参数要用字典，类型导入
await page.type('.J_UserName', username, {'delay': input_time_random() - 50})
await page.type('#J_StandardPwd input', pwd, {'delay': input_time_random()})
# await page.screenshot({'path': './headless-test-result.png'})    # 截图测试
def input_time_random():
    return random.randint(100, 151)

.click()  # 点击按钮
.down()   # 按下按钮
.up()     # 释放按钮
.move()   # 移动光标

您可以使用down()，up()和 sendCharacter()手动触发事件，就好像事件是由真实键盘生成的一样。
await page.keyboard.press('ArrowLeft')
await page.keyboard.down('Shift')
for i in ' World':
    await page.keyboard.press('ArrowLeft')
await page.keyboard.up('Shift')
await page.keyboard.press('Backspace')
# Result text will end up saying 'Hello!'.

await page.keyboard.down('Shift')
await page.keyboard.press('KeyA')
await page.keyboard.press('Enter')
await page.keyboard.up('Shift')

import asyncio
from pyppeteer import launch
async def register():
    browser = await launch({
        'headless': False,
        # 代理ip
        'args': ['--proxy-server=47.105.111.124:15525', ]
    })
    page = await browser.newPage()
    await page.setUserAgent(
        'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36')
asyncio.get_event_loop().run_until_complete(register())
# 更多参数
args: [
            '--disable-setuid-sandbox',
            '--no-sandbox',
            '--proxy-server=10.24.51.125:8411',
            '--ignore-certificate-errors',
            '--window-size=375,812',
            '--remote-debugging-port=9222'
        ],