Webで調べながら、Webスクレイピングに挑戦していますが・・・勉強不足で四苦八苦しながら進めています。 Pythonでscrapyを使ってみましたが、Pythonは数年前にVisualStudioで少し遊んだ程度です。 開発環境にしているVM Ware上のWindows 10に対して、Anacon…

PythonでMySQLDBを使ってSQLを実行してテーブルにデータ登録はできました。 SQLの構文がOracleの書き方に慣れてしまったので、MariaDBでSQL合っているのにエラーになる原因調査に時間を取られたりしました(汗 OracleはDelete文のFromは省略できるんですよ・…

PythonでWebからデータを取得するプログラムを作ったので、次はデータベースに登録しましょうかという事で、XAMPPをインストールしてみました。 データベースもMySQLからMariaDBというのに変わっていたのですね。 そして、ネットの紹介記事とインストールし…

2022/10/06 追記開始 formatの設定で行番号もモジュール名も自動で出力出来ちゃうじゃあないですか。 2022/10/06 追記終了 どんな言語、プログラムでもログ出しは基本だと思います。python勉強しだしてから、簡単に使えるログ出し関数が欲しくなったので、情…

Pythonでlxml.htmlでWebからデータを取れたのは良いのですが、 次はXPATHのリファレンスを読み漁る事になっています。 HTMLを文字列として扱って、ループで回しながら必要なデータを引き抜いても実装はできるのですが、 XPATHは言語を問わず応用が利きそうな…

Pythonは日経ソフトウェア2017年9月号（数年ぶりに買ってみた）の付録で「Python+便利ツールで実践！５日間で学ぶスクレイピングのキホン」という冊子が付いており、それが初めてだったのです。 seleniumを使ってPythonから自動的にgeckodriver経由でFireFox…

現在はPythonの勉強中です。 一応、データベース屋の端くれなので、その先にあるのはビッグデータとか、人口知能かなと思うわけで、Pythonを選択。 Inside .NetさんのPython関係の記事で勉強しています。 特集：Visual Studioで始めるPythonプログラミング I…