「Pythonを使ったWebスクレイピングとMySQLデータ操作の実践方法」

python

2023.06.202023.05.26

概要
詳細内容

概要

以下は、ある企業が実務レベルで使用しているPythonコードの一例です。

このコードは、ウェブスクレイピングを行い、得られた情報をデータベースに格納する機能を持ちます。

現在も改良・更新が続けられており、同社の業務に欠かせないツールとなっています。

詳細内容

【コード例1】

import requests
from bs4 import BeautifulSoup
import pandas as pd# スクレイピングするURLを指定
url = "https://www.example.com"# URLからHTMLデータを取得
response = requests.get(url)# HTMLデータをBeautifulSoupで解析
soup = BeautifulSoup(response.text, "html.parser")# 必要な情報を抽出してリストに格納
data = []
for item in soup.find_all("div", class_="item"):
    name = item.find("h2").text
    price = item.find("p", class_="price").text
    data.append([name, price])# データをPandasのデータフレームに変換してCSVファイルに書き出し
df = pd.DataFrame(data, columns=["商品名", "価格"])
df.to_csv("output.csv", index=False)

このPythonコードは、Webサイトの特定の要素をスクレイピングし、抽出した情報をCSVファイルに書き込むプログラムです。

まず、`requests`ライブラリで指定したURLからHTMLデータを取得し、`BeautifulSoup`ライブラリでHTMLを解析します。

次に、`find_all()`関数で指定したタグの中から必要な情報を抽出し、リストに格納します。

最後に、`pandas`ライブラリを使用してデータをデータフレームに変換し、`to_csv()`関数でCSVファイルに書き出します。

このコードは、企業の業務に欠かせないWebスクレイピングの機能を実現しています。

【コード例2】

import pymysql.cursors# MySQLに接続するための情報
connection = pymysql.connect(
    host='localhost',
    user='root',
    password='password',
    db='test_db',
    charset='utf8mb4',
    cursorclass=pymysql.cursors.DictCursor
)try:
    with connection.cursor() as cursor:
        # データベース内のテーブルにデータを挿入
        sql = "INSERT INTO `users` (`email`, `password`, `name`) VALUES (%s, %s, %s)"
        cursor.execute(sql, ('example@example.com', 'password123', 'John Doe'))    # コミットして変更を保存
    connection.commit()finally:
    # 接続を閉じる
    connection.close()

このPythonコードは、MySQLにデータを挿入する機能を実現しています。

まず、`pymysql.cursors`ライブラリを使用してMySQLに接続します。

次に、`with`文を使用してデータベース内のテーブルにデータを挿入するSQL文を実行します。

最後に、変更を保存するために`commit()`関数を呼び出して、接続を閉じるために`close()`関数を呼び出します。

このコードは、企業の業務に欠かせないデータベース操作の機能を実現しています。