秋月電子のパーツリストをパースしてみる

センサ類のページにあるリストの内容を取得してみた。
うまく取れないのはページごとのマークアップの違うせい。
(忙しいだろうけど統一して欲しいところ。)

#! /usr/bin/env python
# -*- coding: utf-8 -*-
from BeautifulSoup import BeautifulSoup
import urllib2
import re

fout = open('output.txt','w')

url = "http://akizukidenshi.com/catalog/c/csensor/"
html = urllib2.urlopen(url).read()
soup = BeautifulSoup(html)

result = soup.findAll("a",{"class":"goods_name_"})
list = []
for res in result:
    link = res["href"].encode("utf-8")
    product = res["title"].encode("utf-8")
    #print str(product),str(link)
    tupple = (link,product)
    list.append(tupple)
#重複してるので削除する
i = 0
array = []
for line in list:
    if(i % 2 == 0): #iが偶数の時                                               
        line = ""
    else:
        array.append(line)
    i += 1

for l in array:
    #print l[0],l[1]
    link = l[0]
    product = l[1]
    #tupple = ("/catalog/g/gI-00110/", "CDSセル 5mmタイプ")
    tupple = (link,product)
    baseurl = "http://akizukidenshi.com/"
    url = baseurl + tupple[0]
    #print url
    html = urllib2.urlopen(url).read()
    soup = BeautifulSoup(html)
    result = soup.find('td',{"class":"linecart2"} ).parent.parent.contents[5].td
    result = str(result)
    result = result.replace('<td valign="top">','')
    result = re.sub('<br \/>','',result)
    result = re.sub('<a\shref.*\n<\/td>','',result)
    result = re.sub('\n$','',result)
    result = re.sub('<small>','',result)
    result = re.sub('<\/small>','',result)
    print result
    fout.write(result)

fout.close()

出力結果:
センサーのパーツリストはうまく取れてる。

CDSセル 5mmタイプ /catalog/g/gI-00110/
シャープ測距モジュール GP2Y0A21YK /catalog/g/gI-02551/
赤外線リモコン受信モジュール PL−IRM2161−C438 (2個入) /catalog/g/gI-03292/
照度センサ(フォトトランジスタ) NJL7502L 2個入 /catalog/g/gI-02325/
圧電振動ジャイロ ENC−03RC/D(2個入) /catalog/g/gI-02759/
赤外線リモコン受信モジュール PL−IRM0101(38kHz)シールド付 /catalog/g/gI-00622/
3軸加速度センサモジュール KXM52−1050 /catalog/g/gI-01425/
フォトリフレクタ(反射タイプ)TPR−105F(Cランク) /catalog/g/gI-00276/
圧力センサーFSR400 /catalog/g/gP-04003/
高精度IC温度センサ LM35DZ 0〜100℃ /catalog/g/gI-00116/
赤外線リモコン受信モジュール PL−IRM2121(38kHz) /catalog/g/gI-01570/
ホールセンサーUS1881LUA /catalog/g/gI-05274/
ロータリーエンコーダ /catalog/g/gP-00292/
光変調型フォトIC S7136 /catalog/g/gI-02425/
リードスイッチSP3−1A16−3A(5個入) /catalog/g/gP-04209/
フォトICダイオードS9648−100 /catalog/g/gI-02426/
Si PINフォトダイオードS6775 /catalog/g/gI-04806/
赤外線リモコン受信モジュール SPS−440−1(38kHz) /catalog/g/gI-00614/
アナログジョイスティック /catalog/g/gP-04048/
焦電型赤外線センサ AKE−1(RE−210) /catalog/g/gI-00243/
超音波センサ(送受信セット) /catalog/g/gI-00120/
CDSセル 11mm(防滴タイプ) MI1116C /catalog/g/gP-00570/
圧力センサーFSR402 /catalog/g/gP-04002/
シャープ測距モジュールGP2Y0A02YK /catalog/g/gI-03158/
小型圧電振動ジャイロモジュール(ピン未実装) /catalog/g/gK-04912/
高精度IC温度センサ LM60BIZ(TO−92) −25〜125℃ /catalog/g/gI-02490/
フォトリフレクタ(反射タイプ)LBR−127HLD(10個入) /catalog/g/gP-04519/
K型熱電対プローブ /catalog/g/gP-00306/
圧電フィルム(ピエゾフィルム) /catalog/g/gP-05232/
超音波スピーカー UT1007−Z325R (1個) /catalog/g/gP-04490/
リードスイッチMKA−10110(5個入) /catalog/g/gP-03676/
気圧センサーSCP1000−D01 /catalog/g/gI-04355/
光変調型フォトIC S6809 /catalog/g/gI-02499/
焦電型赤外線センサモジュール /catalog/g/gM-02471/
高精度IC温度センサLM61BIZ(4個入) /catalog/g/gI-02753/
3軸加速度センサーKXM52−1050(5個入) /catalog/g/gI-04280/
デジタルカラーセンサ S9706 /catalog/g/gI-02493/
フォトリフレクタ(反射タイプ)LBR−127HLD /catalog/g/gP-04500/
Si PINフォトダイオードS2506−02 /catalog/g/gI-04913/
赤外線リモコン受信モジュールOSRB38C9AA(2個入) /catalog/g/gI-04659/
サーモスタットIC TC622EPA −40℃〜85℃ /catalog/g/gI-02051/
CDSセル 11mm MI11516 /catalog/g/gI-00247/
RS232Cレベルコンバータ内蔵GPSモジュールGT−723F /catalog/g/gM-04554/
小型圧電振動ジャイロモジュール(丸ピン実装済み完成品) /catalog/g/gM-04523/
圧力センサーFSR406 /catalog/g/gP-04158/
超小型アンプ内蔵 シリコンマイクロホン SP0103NC3−3 (2個入) /catalog/g/gI-00602/
3軸加速度センサ KXP84−2050(5個入) /catalog/g/gI-02350/
デジタル温度センサ(1wire)DS18B20+ /catalog/g/gI-05276/
PINフォトダイオード使用簡易放射線量モニターキット /catalog/g/gK-05489/
高精度IC温度センサ LM35DZ(10個入) 0〜100℃ /catalog/g/gI-01742/
MPL115A2使用大気圧センサーモジュールキット(I2C) /catalog/g/gI-04596/
パララックス社超音波距離センサーモジュール /catalog/g/gM-05400/
3軸加速度センサモジュール KXP84−2050 /catalog/g/gI-02347/
半導体UVセンサ G5842 /catalog/g/gI-00122/
フォトトランジスタ5mm丸型(赤外線)L−51ROPT1D1(10個入) /catalog/g/gI-04211/
フォトICダイオードS9648 /catalog/g/gI-03822/
シャープ測距モジュール GP2Y0A710K /catalog/g/gI-03157/
フォトリフレクタ(反射タイプ)TPR−105(Cランク) /catalog/g/gI-03812/
湿度センサ HS−15P /catalog/g/gI-00117/
超音波シリコンマイクロホン SPM0404UD5 /catalog/g/gP-03106/
超高感度焦電センサー用レンズ /catalog/g/gP-00321/
USB温度ロガー EL−USB−LITE /catalog/g/gM-02597/
気圧センサーMPS−2407−015AD /catalog/g/gP-04376/
高精度IC温度センサLM61CIZ(4個入) /catalog/g/gI-02726/
磁気抵抗素子DM−106B(5個入) /catalog/g/gI-04055/
フォトICダイオードS9648(5個入) /catalog/g/gI-03825/
照度・周波数変換フォトIC 550nm S9705(2個入) /catalog/g/gI-02443/
磁気センサ W2DG−E01 2個入 /catalog/g/gP-03048/
フォトトランジスタ3mm丸型 L−31ROPT1D2(10個入) /catalog/g/gI-04213/
赤外線リモコン受信モジュールPL−IRM1261−C438 /catalog/g/gI-04169/
フォトICダイオード S9066−111 /catalog/g/gI-02444/
超音波スピーカー(超音波センサ) /catalog/g/gP-02430/
USB接続GPSモジュール(GPSデータロガー)GT−730F/L /catalog/g/gM-02619/
RS232Cレベルコンバータ内蔵GPSモジュールGT−720F /catalog/g/gM-02711/
K型熱電対 ステンレス管タイプ /catalog/g/gP-00307/
回転角度検出センサー(2個入) /catalog/g/gP-01597/
フォトリフレクタ(反射タイプ)TPR−105F(Dランク)(10個入) /catalog/g/gI-03809/
気圧センサー SCP1000−D01モジュール /catalog/g/gM-03468/
においセンサ TGS2450 /catalog/g/gP-00989/
フォトICダイオードS7183 /catalog/g/gI-05463/
静電容量方式湿度センサー /catalog/g/gP-05401/
S−8120C CMOS温度センサーモジュール(5個入) /catalog/g/gM-04267/
表面実装用フォトトランジスタ(880nm)PS1101W(10個入) /catalog/g/gI-01674/
CDSセル 20mm MI20528 /catalog/g/gI-00248/
スライドスイッチ機能付感圧センサ /catalog/g/gP-04746/
非接触回転速度センサ OH182/E(2個入) /catalog/g/gI-01657/
ブレッドボード振動サイレンキット /catalog/g/gK-04918/
精密級高精度温度センサーLM335Z (2個入) /catalog/g/gI-03630/
GPS用 USB変換ケーブル /catalog/g/gC-02712/
IrDA赤外線通信トランシーバ・モジュールRPM851A(2個入) /catalog/g/gM-00382/
焦電型赤外線センサモジュール(人体検知センサ)SGM−5955FL /catalog/g/gM-04013/
小型コンデンサ・マイク(2個入) /catalog/g/gP-01343/
超音波センサ防滴型(送受信セット) /catalog/g/gI-00170/
ケース入りリードスイッチ(磁石付セット)MC−14AG(5個入) /catalog/g/gP-04040/
温度センサーIC MCP9700−E/TO 低消費電力リニアアクティブ (8個入) /catalog/g/gI-03286/
気圧センサー(I2C)MPL115A2 /catalog/g/gI-04317/
リードスイッチRD−7B(5個入) /catalog/g/gP-05290/
pH電極単体 PE−2 /catalog/g/gI-00112/
ドップラーモジュールIPM−165−A01 /catalog/g/gM-04911/
高精度IC温度センサ LM60BIZ(TO−92)(10個入) −25〜125℃ /catalog/g/gI-02713/
赤外線リモコン受信モジュール SPS−444−1(38kHz) /catalog/g/gI-00824/
MPL115A2使用大気圧センサーモジュール(I2C)(丸ピン実装済み完成品) /catalog/g/gI-04692/
リードスイッチ用ケース入り磁石 /catalog/g/gP-04032/
リードスイッチ FR2S1015(10個入) /catalog/g/gP-04400/
TO−220型サーモスタット 67F120 120度(2個入) /catalog/g/gP-01409/
圧力センサー(ロングタイプ)FSR−408 /catalog/g/gP-05039/
GWSジャイロユニット /catalog/g/gM-02555/
フォトリフレクタ(反射タイプ)TPR−105F(Cランク)(100個入) /catalog/g/gI-03810/
超小型シリコンマイクロホン SPU0409HD5H(PB−7) (2個入) /catalog/g/gP-03200/
デジタル気圧計キット /catalog/g/gK-05065/
リニア光センサー LLS05−A /catalog/g/gI-05713/
USB電圧ロガー EL−USB−3 /catalog/g/gM-02603/
ケース入りリードスイッチMC−14AG /catalog/g/gP-04030/
ホールセンサーUS1881LSETR−ND(5個入) /catalog/g/gI-05275/
LED付きケース入りリードスイッチ(磁石付セット)MCD−14AG(5個入) /catalog/g/gP-04041/
ケース入りリードスイッチ(磁石付セット)MC−14AG /catalog/g/gP-04025/
デジタルPHペン(完成品) /catalog/g/gM-02157/
GaAsPフォトダイオードG6262 /catalog/g/gI-04592/
焦電型赤外線センサ D205B /catalog/g/gI-05712/
ドップラーモジュール NJR4261JB0916 Type WS+/−0 7dBi R4251−51−1 /catalog/g/gM-03166/
ディジタルシリコンマイクモジュール(細ピンヘッダ版) /catalog/g/gM-05577/
拡散型フォトダイオード(紫外線センサ) G7189 /catalog/g/gI-00483/
フォトICダイオード S9067−101 /catalog/g/gI-02427/
USB温度ロガー EL−USB−1 /catalog/g/gM-02598/
エンコーダ用フォトIC 870nm S4506 /catalog/g/gI-02442/
Pico Technology データロガー USB接続タイプ DrDAQ /catalog/g/gM-04743/
圧電振動ジャイロキット /catalog/g/gK-02504/
赤外線リモコン受信モジュール SPS−448−1(38kHz) /catalog/g/gI-00872/
高精度IC温度センサ LM60(SOT−23)5個入 −25〜125℃ /catalog/g/gI-02492/
超アナログお天気センサーキット /catalog/g/gK-04243/
Parallax PIRセンサー RevA /catalog/g/gM-05426/
LED付きケース入りリードスイッチ(磁石付セット)MCD−14AG /catalog/g/gP-04026/
パララックス社高度計測モジュール /catalog/g/gM-05399/
焦電型赤外線センサ D203B /catalog/g/gI-05711/
LED付きケース入りリードスイッチMCD−14AG /catalog/g/gP-04031/
SiフォトンカウンティングデバイスS10362−11−050 /catalog/g/gI-05458/
赤外線リモコン受信モジュール SPS−442−1(38kHz) /catalog/g/gI-00573/
フォトICダイオード S7565 /catalog/g/gI-02174/
USB熱電対温度ロガー EL−USB−TC /catalog/g/gM-02599/
USB温度・湿度計 EL−USB−RT /catalog/g/gM-02600/
光電スイッチ用アナログ出力フォトIC S11049−02SB /catalog/g/gI-05459/
フォトリフレクタ(反射タイプ)TPR−105(Cランク)(100個入) /catalog/g/gI-03813/
Pico Technology DrDAQ用温度センサー単品 /catalog/g/gM-05253/
CMOS温度センサーS−8120C(10個入) /catalog/g/gI-04574/
スライドスイッチ機能付感圧センサー用DEMOボード /catalog/g/gM-04910/
焦電センサーレンズ 7701 /catalog/g/gP-00322/
焦電センサーレンズ 7807 /catalog/g/gP-00325/
超音波スピーカー UT1007−Z325R (240個入) /catalog/g/gP-04491/
GaPフォトダイオードG1962 /catalog/g/gI-05456/
焦電センサーレンズ 7703 /catalog/g/gP-00323/
フレネルレンズ D701 /catalog/g/gP-05714/
気圧センサー(SPI)MPL115A1 /catalog/g/gI-04316/
3・3/4桁液晶[3999]表示デジタルマルチメータ(テスタ)M3850D /catalog/g/gM-00123/
光電スイッチ用フォトIC S6841 /catalog/g/gI-05462/
GaAsPフォトダイオードG2711−01 /catalog/g/gI-05457/
StarGazer ロボット用測位センサー /catalog/g/gM-02491/
Dr.DAQ(パラレル接続パソコン計測アダプター) /catalog/g/gM-00181/
温度センサーIC MCP9700−E/TO 低消費電力リニアアクティブ (1000個入) /catalog/g/gI-03422/
Dr.DAQ(パラレル接続パソコン計測アダプター:pHセンサー無タイプ) /catalog/g/gM-02757/
USB温度・湿度計 DLP−TH1 /catalog/g/gM-02606/
非接触回転速度センサ OH182/E(800個) /catalog/g/gI-01692/
圧力センサーFSR400 SHORT /catalog/g/gP-05747/
フレネルレンズ D706 /catalog/g/gP-05716/
フレネルレンズ D703 /catalog/g/gP-05715/
リードスイッチ FR2S1015(500個入) /catalog/g/gP-04259/
フォトICダイオードS9648(500個入) /catalog/g/gI-03826/

ただ、その内容がうまく取れない。
出力結果out.txt (先頭のみ抜粋)

							CdS(硫化カドミウム)を使用した光センサーで、
光の強さに応じて電気抵抗が低下する抵抗器です。
人の目の特性に近い特性(緑色の光に対して高感度)を持っていますので、
各種明るさセンサーに最適です。
・外形寸法:直径5mm
・ピーク波長:540nm
       太陽光、人間の目に近く、緑色にピーク波長を持ちます
・最大電圧:150VDC
・最大電力:100mW
・明抵抗:10k〜20kΩ(10Lux時)
・暗抵抗:1MΩ
・温度係数:±0.002/℃
<table width="100%" border="0" cellspacing="0" cellpadding="0">
<tr>
<td valign="top" align="left">

シャープの測距モジュールです。赤外線LEDとPSD(position sensitive detector)を使用して、非接触で距離を検出することができます。
■測距範囲:10〜80cm
■出力:アナログ電圧出力
■寸法:29.5×13×13.5mm
■用途:ロボット・アミューズメント等
■電源:4.5〜5.5V
※15cmの専用ケーブルが付属となりました。<b>白</b>がVo、<b>オレンジ</b>がGND、<b>黒</b>がVccです。2009.10.5
<a href="/download/GP2Y0A21YK.pdf"><img src="/img/usr/pdf.gif" /></a> <a href="/download/GP2Y0A21YK.pdf">GP2Y0A21YK.pdf</a> この資料は参考です。

<td>
<img src="/download/GP2Y0A21YK_dim.PNG" width="320" />
</td>
</tr>
</table>
</td>
							テレビ・ビデオ等に使用されている受光モジュールです。
2.4Vからの低電圧駆動製品です。
■38kHz用です。
■中心波長:940nm
■電源電圧範囲:2.4〜5.5V
■ピンフォトダイオード,アンプ,フイルター回路内蔵
<a href="/catalog/c/cremocon">リモコン受光モジュール一覧</a>

<a href="/download/PL-IRM2161-C438.pdf"><img src="/img/usr/pdf.gif" /></a> <a href="/download/PL-IRM2161-C438.pdf">PL-IRM2161-C438.pdf</a> この資料は参考です。

						</td>
<table width="100%" border="0" cellspacing="0" cellpadding="0">
<tr>
<td width="45%" valign="top" align="left">

■人間の視感度特性に近いフォトトランジスタです。
■CdSセルからの置き換えにも適します。環境問題により有害なCdSからの置き換えが進んでいます。
■照明・玩具などの制御、TVなどのディスプレイ輝度調整などに
■3φタイプ
・ピーク波長:560nm
・光電流:33μA (100lux)
・半値角:±20度・応答時間:10μs
</td>
<td width="55%" valign="top" align="center">
<table border="1" cellspacing="0" cellpadding="0">
<tr align="center"><td colspan="4">絶対最大定格</td></tr>
<tr align="center"><td>項目</td><td>記号</td><td>定格</td><td>単位</td></tr>
<tr align="center"><td>コレクタ・エミッタ間電圧</td><td>VCEO</td><td>70</td><td>V</td></tr>
<tr align="center"><td>エミッタ・コレクタ間電圧</td><td>VECO</td><td>10</td><td>V</td></tr>
<tr align="center"><td>光電流</td><td>IL</td><td>10</td><td>mA</td></tr>
<tr align="center"><td>許容損失</td><td>PD</td><td>150</td><td>mW</td></tr>
<tr align="center"><td>動作温度</td><td>Topr</td><td>-40〜+85</td><td>℃</td></tr>
<tr align="center"><td>保存温度</td><td>Tstg</td><td>-40〜100</td><td>℃</td></tr>
<tr align="center"><td>はんだ付け温度</td><td>Tsol</td><td>260</td><td>℃</td></tr>
</table>
</td>
</tr>
</table>
<a href="/download/NJL7502L.pdf"><img src="/img/usr/pdf.gif" /></a> <a href="/download/NJL7502L.pdf">NJL7502L.pdf</a> この資料は参考です。
						</td>
							■村田製作所の圧電振動ジャイロ(ジャイロスター)デバイス単品です。
■ENC−03RCとENC−03RDの2個1パックとなります。
■ロボット等の制御姿勢、カメラの手ぶれ検出等に最適です。

■電源:2.7〜5.25V
■検出範囲:±300deg/sec
■静止時出力:1.35V
■応答性:50Hz
■感度:0.67mV/deg/sec
<a href="/download/ENC-03RCD.pdf"><img src="/img/usr/pdf.gif" /></a> <a href="/download/ENC-03RCD.pdf">ENC-03RC/D.pdf</a> この資料は参考です。

DIP化モジュールもございます。
※ピン実装済(<a href="http://akizukidenshi.com/catalog/g/gM-04523/" copyright="akizuki denshi tsusho" rel="nofollow">M-04523</a>)
※ピン未実装(<a href="http://akizukidenshi.com/catalog/g/gK-04912/" copyright="akizuki denshi tsusho" rel="nofollow">K-04912</a>)
						</td>
							ピンフォトダイオード,アンプ,フイルター回路内蔵
◆周波数:38kHz
◆電源:5V TTL(C−MOS)出力
◆消費電流:1.2mA
※ノイズ防止のシールドが付いています。
※外形が2種類あります(写真3枚目)。どちらか一方が届きます。電気的仕様に違いはありません。
<a href="/download/PL-IRM0101-3.pdf"><img src="/img/usr/pdf.gif" /></a> <a href="/download/PL-IRM0101-3.pdf">PL-IRM0101-3.pdf</a> この資料は参考です。
							カイオニクス社 ローノイズ3軸加速度センサを実装した8ピンモジュールです。
■XYZ ±2G
■アナログ出力 感度:660mV/G
■オフセット 1.65V(0g:3.3V時)
■電源電圧:3.3〜5V(標準:3.3V)
■周波数範囲:10〜1500Hz
◎コンデンサ4個実装済み(基板裏)。
※このモジュールは、出力ピンに3300pF(C2)のコンデンサがついていますので、
出力周波数帯域は、10Hz〜1500Hzです。出力ピンに外付けのコンデンサをつけることで、
出力周波数帯域を制限することができます。
※KXM52はXYZ軸それぞれに最大±167mV(3.3V動作時)の0Gオフセット誤差と、±5%の感度誤差があります。
※衝撃や2Gを超える加速度を与えると出力が異常な値を出力したまま固定したり、オフセットや感度がずれて戻らなくなったりしますので、ご注意下さい。
※ICと8ピンのソケットは全て基板に実装済みです。
※デバイス単品販売の<a href="http://akizukidenshi.com/catalog/g/gI-04280/" copyright="akizuki denshi tsusho" rel="nofollow">I-04280</a>もございます。