新しいことを覚えようとしてハードルの高さに困っている話

Webで調べながら、Webスクレイピングに挑戦していますが・・・
勉強不足で四苦八苦しながら進めています。

Pythonでscrapyを使ってみましたが、Pythonは数年前にVisualStudioで少し遊んだ程度です。

開発環境にしているVM Ware上のWindows 10に対して、Anaconda.Navigator(初体験)、VS Code(初体験)をインストール。
戸惑いながらも、Webサイトのサンプルの動作を確認できました。

そして、本命である私がスクレイピングしたい対象のページを実施。
Chromeのデベロッパーツール(初体験)で対象データのXPATHを調べながら、コーディング・・・

そして、想定通りに動作しない。

調べたら対象のページがJavaScriptでデータ取得しているので、scrapy単体ではデータが取れないそうです。
尚、私はJavaScriptも素人です。
HTMLは20年ぐらい前の知識ですが、テキストエディタに手書きしてホームぺ―ジを作成していたので、読めはします。

調べたらsplashで対応できるそうですが、dockerのPython環境にsplashのインストールが必要・・・
私はdocker未体験です。
ANACONDA.NAVIGATORで仮想環境作成しているのですが、これはsplashを動作させる為のDockerの代わりになってくれないのだろうか。

ちょっとスクレイピングに挑戦するのに、Python,ANACONDA NAVIGATOR,VS Code,HTML,JavaScript,dockerを少しは理解しないといけないという・・・
新しい事に挑戦するのは大変ですね。

更に、取得したデータをMySQLに格納して、データを検索できるＷｅｂサイトを作ろうとしているので、先は長そうです。

Windows＋Excel＋VBA+VB.NET+Oracleのクライアントサーバー型アプリに慣れ切っているので、余計大変。