【Pythonコード例】データ前処理、ディープラーニング学習、APIデータ集計のPythonコード例

python

概要

「この企業はpythonを主要なプログラミング言語として採用しており、pythonを用いた開発プロジェクトに従事しています。

今回、実際に企業内で使用されているpythonコードを紹介いたします。

詳細内容

以下は、ある企業内で使用されているPythonコードの一例です。

【例1】データの読み込みと前処理を行うスクリプト

python
import pandas as pd# CSVファイルからデータを読み込む
data = pd.read_csv('data.csv')# 不要な列を削除する
data = data.drop(['id', 'date'], axis=1)# 欠損値を平均値で置換する
data = data.fillna(data.mean())# カテゴリカル変数をダミー変数に変換する
data = pd.get_dummies(data, columns=['type'])# データを正規化する
data = (data - data.min()) / (data.max() - data.min())# 前処理済みのデータをファイルに保存する
data.to_csv('preprocessed_data.csv', index=False)

このスクリプトは、CSVファイルからデータを読み込み、不要な列を削除したり欠損値を平均値で置換したり、カテゴリカル変数をダミー変数に変換したりするなど、前処理を行うためのものです。

Pandasライブラリを使用しており、一連の処理が非常に簡潔に書けます。

【例2】ディープラーニングモデルの学習を行うスクリプト

python
import numpy as np
import tensorflow as tf# データセットを読み込む
train_data = np.load('train_data.npy')
train_labels = np.load('train_labels.npy')
test_data = np.load('test_data.npy')
test_labels = np.load('test_labels.npy')# モデルを定義する
model = tf.keras.models.Sequential([
  tf.keras.layers.Dense(128, activation='relu', input_shape=(train_data.shape[1],)),
  tf.keras.layers.Dropout(0.5),
  tf.keras.layers.Dense(64, activation='relu'),
  tf.keras.layers.Dense(1, activation='sigmoid')
])# モデルをコンパイルする
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])# モデルを学習する
history = model.fit(train_data, train_labels, batch_size=32, epochs=10, validation_data=(test_data, test_labels))# モデルを評価する
test_loss, test_acc = model.evaluate(test_data, test_labels)
print('Test accuracy:', test_acc)

このスクリプトは、NumPyとTensorFlowライブラリを使用して、ディープラーニングモデルの学習を行います。

Sequentialを使用してモデルを定義し、Denseレイヤーを組み合わせて構築します。

最後に、compileメソッドで学習の設定を行います。

学習の進捗や評価結果は、fitとevaluateメソッドを利用して取得できます。

【例3】APIからデータを取得して分析するスクリプト

python
import requests
import pandas as pd# APIからデータを取得する
response = requests.get('https://api.example.com/data')
json_data = response.json()# データをPandasのデータフレームに変換する
data = pd.DataFrame(json_data)# 不要な列を削除する
data = data.drop(['id'], axis=1)# カラムをリネームする
data = data.rename(columns={'name': '商品名', 'price': '価格', 'category': 'カテゴリ'})# カテゴリ別の価格平均を計算する
avg_price = data.groupby('カテゴリ')['価格'].mean()# 結果を出力する
print(avg_price)

このスクリプトは、APIからデータを取得してPandasのデータフレームに変換し、データの前処理や集計を行います。

requestsライブラリを使用してAPIにアクセスし、取得したJSONデータをPandasのデータフレームに変換します。

その後、groupbyメソッドを使用してカテゴリ別に集計を行います。

最終的に、結果を出力します。

コメント

タイトルとURLをコピーしました