異端開発室

開発環境の準備 本プロジェクトは以下の環境で動作確認を行っています。 OS: Windows, macOS, Linux対応 Python 3.7以降 必要ライブラリ: pandas（データ処理）, requests（HTTP通信）, re（テキスト解析）, akshare（金融データ取得）, matplotlib（グラフ描画）, dataframe-image（表の画像化） 投資信託データの取得手法 金融データの取得は、専用ライブラリを利用す ...

ExcelやCSVなどの表形式データに基づいてフォルダを一括作成する方法を解説する。手動でフォルダを作成する作業は時間がかかるが、Pythonを使えば自動化できる。 前提条件 以下のライブラリが必要となる： pandas - 表データの読み込みに使用 openpyxl - Excelファイルを扱う場合に必要 インストールは以下のコマンドで実行する： pip install pandas openpyxl 実装 ...

1. ファイルシステムの自動整理 拡張子ベースのファイル分類 指定ディレクトリ内のファイルを拡張子ごとにサブフォルダへ振り分ける処理です。標準ライブラリのpathlibを活用し、ファイルパス操作を安全かつ簡潔に記述しています。 import shutil from pathlib import Path def organize_by_extension(target_dir: str) -> None: base_path = Path(target_dir) if ...

データ取得：統計局APIへのアクセス 国家統計局の「EasyQuery」インターフェースは JSON 形式で構造化データを返却するため、requests を使って簡単に取得できる。アクセス制限を避けるため、1 回取得したらローカルにキャッシュし、連続アクセスは避ける。 import requests, re, json, time BASE = "https://data.stats.gov.cn/easyquery.htm" QUERY = { "m": "Quer ...

行インデックスの操作 import pandas as pd # サンプルデータを作成 data = { 'col1': [0.776520, 0.130550, 0.995216, 0.253985], 'col2': [0.093637, 0.682061, 0.959426, 0.161841], 'col3': [0.819028, 0.102499, 0.337403, 0.536915], 'col4': [0.304640, 0.782682, 0.897070, 0.269828] } df_data = pd.DataFrame(data) # インデックスと列名を変 ...

AIコードアシスタントを活用することで、スプレッドシートデータの抽出・集計からグラフ描画までのワークフローを効率的に構築できます。ここでは、特定の機関に絞った受賞データを処理し、Pythonの主流なライブラリを用いて図表生成する実装例を解説します。 データの前処理と集計ロジック まずは対象ファイルを解析し、部門ごとの賞の内訳を構造化します。従来の行単位ル ...

データ分析師 - 試験問題 ファイル名にはご自身の名前を付けて提出してください import pandas as pd import numpy as np import matplotlib.pyplot as plt from sklearn.model_selection import train_test_split from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_squared_error, r2_score from datetime import datetime from pyech ...

開発環境の構築 Anaconda を利用して仮想環境を構築するのが一般的です。以下のコマンドで環境を作成し、活性化します。 conda create -n dl_env python=3.9 conda activate dl_env 必要なパッケージをインストールした後、PyCharm や VS Code などの IDE で解釈実行環境をこの仮想環境に設定すれば準備が整います。 テンソルのインデックス操作 配列やテンソルからのデ ...

データ分析プロジェクトにおける環境統一の重要性 データサイエンスの現場では、ローカルマシンとサーバー間、あるいはチームメンバー間で Python のパッケージバージョンが異なり、コードが実行できないという問題が頻繁に発生します。この課題を解決するため、pydata-bookプロジェクトを Docker コンテナ上で実行する構成が有効です。これにより、依存ライブラリの競合を ...

はじめに Pandasは、Python環境において高速で強力がかつ使いやすいデータ分析・操作ツールです。pipコマンドでかんたんにインストールできます。 pip install pandas コード内でPandasを使用する場合は、まずインポートを行います。 import pandas as pd 本記事では、頻繁に使用される12のデータ処理操作を紹介します。 # サンプルデータの作成 sample_data = pd. ...