【Webスクレイピング超入門】2時間で基礎を完全マスター!PythonによるWebスクレイピング入門 連結版
1回目:ログインからブラウザ操作のためのコード
browser = webdriver.chrome() url = 'https://lll' browser = get(url) sleep(4) elem_username = browser.find_element_by_id('usename') elem_usename.send_keys(’aaa’) elem_password = browser.find_element_by_id('password')
    !pip install ・・・・ Jupyter Lab使用時のインストールコマンドコード browser = get(url) : IDサイトにログインする .find_element_by_id('aaa') aaaのidの要素を見つける .send_keys('aaa') aaaを入力する .click() ログインボタンをクリックする
2回目:テキストを取得
elem = browser.find_element_by_id('name') name = elem.txet elem_th = browser.find_element_by_tag_name('th') keys = [] for elem_th in elems_th:

key = elem_th.text keys.append(key)

import pandas as pd df = pd.DataFrame() df['項目'] = keys df.to_csv('講師情報',index=False)
.replace('\n','aaa') aaaに置き換える find_element ⇔ find_elements 単数取得⇔複数取得
3回目:beautiful soup データ取得
import requests from bs4 import BeautifulSoup url = ' ' res = requests.get(url) soup = BeautifulSoup soup.find_all('p',attrs={'class': 'subscribers'})[0] n_subscribers = int(subscribers.text.split(':')[1]) print(soup.)
soup.select('subscribers')    
4回目:beautiful soupでランキングサイトのデータ取得