htmlsql スクレイピング 実装する前に googleで検索です
スクレイピング scraping とは？
「削る」という意味。Webページの中から情報を「削り取る」。Webページからスクリプトなどを使って必要と思う情報だけを取ってくること。
プログラムにとりかかる前に、さくっと検索してみました。情報を提供してくださっている方々に感謝です。
何が出来るのか？ どの場面で使うのか？ きっちりと仕様を決めるまではgoogle検索で情報を取得して、コツコツと動作検証をすることになります。
参考URL
スクレイピングとは
Webサイトへのログイン作業を簡単にする自動化ツールを作ろう
Web サービスと Ajax を使ってデータ入力を自動化する
ソフトウェアテスト自動化まとめサイト なんでも自動化サイト
phpによるスクレイピング処理入門
Webスクレイピングを可能にするPHPライブラリ・htmlSQL
スクレイピングならHTMLScraping→SimpleXML→xpath
PHPでスクレイピングしてみる
PHPでHTMLをパーサーにかけてスクレイピング
PHP+tidy+XMLでスクレイピング
真面目にエロサイトを作ってみた【プログラマ編】
キーワード： スクレイピング, htmlsql
[ htmlSQL ] SQL みたいな文法で HTML を抽出する PHP のライブラリ
htmlSQLのサンプル source
htmlSQLよりアツい!?jQueryみたいにセレクタでHTMLをparse(解析)する「PHP Simple HTML DOM Parser」
PHP Simple HTML DOM Parser が良いらしぃ。
2011年12月22日 |
カテゴリー:プログラム
PHPExcel か excel_reviser か？ それとも PDFlibで
データベースから、データを抽出しオンザフライで綺麗なレイアウトで出力したいという事だったので、PDFで出力するか？excelで出力するか検討してみた。
出力した帳票を部分的に変更したくなる。 という事は日常茶飯事なのでPDFで出力すると後々、大変になりそうな予感。
商売モードだったら、フォーム変更料を請求出来るので、PDF出力もあり…かもしれないが、普段お世話になりっぱなしのお客様の案件なので使いやすさを考慮してexcel形式で出力する予定。
PHPExcelとReviserの比較(前編)
PHPExcelとReviserの比較(後編)
PHPでExcelを操作する方法
excel_reviserの文字化け解消
月曜日の朝までに仕上げられればいいな。
pogodrive-Buffalo-2012-02-workとkuro-(programs)に保存。
mysql データの存在チェック
//データ存在確認 function checkExistData($tablename) { $sql_exist = "select * from " . $tablename . ";"; $rs_exist = mysql_query($sql_exist); $num = mysql_num_rows($rs_exist); return $num; }
2011年7月9日 |
カテゴリー:プログラム
重複しない乱数をある範囲内で必要なだけ取得するには？
1. <?php 2. $rand_ar = range($min , $max); 3. //range()を使い$min から $max までの整数を値に持つ配列を$rand_arに取得 4. 5. shuffle($rand_ar); 6. //shuffle()を使い$rand_arの並びをランダムにする 7. 8. // $rand_ar[0]から$rand_ar[$num]には重複しない整数がランダムな順番で入っているので 9. // 先頭から順番に好きなだけ取得することでランダムな整数を必要なだけ取得できる 10. ?>
2011年7月6日 |
カテゴリー:プログラム
grep 指定したパターンを含むファイル名だけを表示
grep option pattern filename
-l (エル): 指定したパターンを含むファイル名だけを表示する。
該当するファイルを削除するシェルスクリプト
#!/bin/sh
x=`grep -l hoge filename*.html`
rm -f $x
で解決かも。
2011年6月30日 |
カテゴリー:プログラム
