差分

このページの2つのバージョン間の差分を表示します。

--- python [2021/01/13 09:33] – [利用ツール・サンプルプログラム] sasaki
+++ python [2022/04/13 12:46] (現在) – 削除 ohno
@@ 行 1: / 行 1: @@
-==== 初めて利用される方へ ====
-　メッシュ農業気象データは、[[https://amd.rd.naro.go.jp/opendap/|データ配信サーバー]]より提供します。データ配信サーバーは、エクセルやPythonなど、アプリケーションプログラムからのデータリクエストに応答してデータを提供するように設計されており、人間がデータを選択してファイルとしてダウンロードすることは、特殊なケースを除きできません。Pythonの実行環境構築は、トップページの項目「マニュアル・参考資料」に掲載されている「Python利用環境構築ガイド」に従って行ってください。\\
-　メッシュ農業気象データシステムの利用法は、メッシュ農業気象データ利用マニュアルVer.4」に詳しく解説しています。また、2018年6月に開催されたメッシュ農業気象データ利用講習会のテキストも参考にしてください。
-  - [[https://amd.rd.naro.go.jp/opendap/|ここ]]をクリックして、メッシュ農業気象データ配信サーバにアクセスしてください。
-    *認証情報を要求されますので、発行された利用IDとパスワードを入力してください。
-    *AMD/　などのリストが表示されたらデータ配信サーバーと疎通しています。
-  - {{ :Python利用環境構築ガイド.pdf |Python利用環境構築ガイド}}に従ってPythonの利用環境をPCに構築してください。
-  - {{: PythonWorks.zip |この圧縮ファイル}}をダウンロードして適当な場所に展開し、Pythonの作業フォルダにします。
-  - メッシュ農業気象データ利用ツール「AMD_Tools3.py」に、認証情報を書き込みます。
-    *Spyderを起動して、Pythonの作業フォルダの中のファイル「AMD_Tools3.py」をエディタペインに開きます(Spyderの操作については利用マニュアルを参照してください。)。
-    *利用者IDを、2重引用符で括って**49**行目に書き込みます。
-    *パスワードを、2重引用符で括って**50**行目に書き込みます。パスワードは最大2つまで書き込めるようになっているので、どちらかに記入してください。
-    *書き込んだ後はファイルを閉じてください。
-  - Spyderを起動して、Pythonの作業フォルダの中のサンプルプログラム「test.py」を実行してください。
-    *日平均気温のグラフが表示されたら、データの利用環境は整っています。
-    *グラフが表示されていない場合は、ネットワークの設定に不備が考えられます。機関のネットワーク管理者にご相談ください。
-    *Anacondaのバージョンによっては、test.pyを実行すると、'isfinite' not supported というエラーが出ることがあります。その場合、test.pyの28行目の文頭にある#を削除してください。
-    *同様に、sample_GetMetData_c.pyでエラーが出る場合は、86行目の文頭にある#を削除してください。
-    *同様に、sample_WaterTemp_TS.pyでエラーが出る場合は、63行目の文頭にある#を削除してください。
-==== 既にメッシュ農業気象データをPythonで処理されていた方へ(新システムへの移行) ====
-　Spyderを起動して、そのタイトルバーの括弧内に表示されるPythonのバージョンを確認してください。バージョンが3.6、3.7または3.8の方は、**AMD_Tools3.py**を最新のものに更新し、発行された認証情報を記入すれば、お使いのプログラムはそのまま動作します。記入の方法は「初めて利用される方へ」の項目5を参照してください。
-　なお、Pythonバージョン3.8は3.6、3.7よりも便利な機能が追加されているので、この機会にPythonをバージョンアップされることをお勧めします。Pythonをバージョンアップするには、Anacondaを一度アンインストールして最新版をインストールします。一連の手順については「Python利用環境構築ガイド」を参照してください。
-----
-==== 利用ツール・サンプルプログラム ====
-利用ツール・サンプルプログラムの利用にあたっては、以下の点にご留意いただきますようお願いいたします。
-   - 許可なく転載を禁止します。
-   - 商用利用を禁止します。
-   - 民間企業から配信されている同質のデータを用いてAMD_Tools3.pyまたはAMD_DayLength3.pyを利用する場合は、販売元の民間企業にご相談ください。
-=== 利用ツール ===
-    * {{:AMD_Tools3.py|}} 基本モジュール最新版 (20210108版、時別値取得関数追加)　<color #ed1c24>new!</color>
-      * ID・パスワードを所定の場所に書き込んで使用してください。
-      * {{ :メッシュ農業気象データ_時別値（気温）について.pdf |時別値の利用方法について}}
-    * {{:AMD_DayLength3.py|}} 日長計算モジュール最新版（20200825版）
-    * {{:AMD_PaddyWaterTemp.py|}} 水田水温を計算するWaterTemp関数を含むモジュール（20180206版）
-=== サンプルプログラム ===
-    * {{:sample_GetMetData-a.py|}}： GetMetData：メッシュ農業気象データを取得する関数のサンプル(その１)。気象データーを格納する配列変数の基礎知識。
-    * {{:sample_GetMetData-b.py|}}： GetMetData：メッシュ農業気象データを取得する関数のサンプル(その２)。面的な分布を取得して表示。
-    * {{:sample_GetMetData-c.py|}}： GetMetData：メッシュ農業気象データを取得する関数のサンプル(その３)。特定メッシュにおける一定期間のデータを取得してグラフ化。
-    * {{:sample_GetGeoData.py|}}： GetGeoData：土地利用や都道府県域などの地理情報を取得する関数のサンプル。
-    * {{:sample_GetCSV_Map.py|}}： GetCSV_Map：CSV形式のテキストファイルを数値として配列変数に読み込む関数のサンプル。
-    * {{:sample_GetCSV_Map-data.csv|}}： 上のサンプルプログラムに使用するサンプルデータ。
-    * {{:sample_PutCSV_TS.py|}}： PutCSV_TS：時系列のデータをCSV形式のファイルで出力する関数のサンプル。
-    * {{:sample_PutCSV_Map.py|}}： PutCSV_Map：時系列のデータをCSV形式のファイルで出力する関数のサンプル。
-    * {{:sample_PutCSV_MT.py|}}： PutCSV_MT：3次元の配列を、3次メッシュコードをキーとするテーブルの形式のCSVファイルで出力する関数のサンプル。
-    * {{:sample_PutGSI_Map.py|}}： PutGSI_Map：2次元(空間分布)の配列をブラウザ上で「地理院地図」に重ねられるファイルとして出力する関数のサンプル。
-    * {{ :sample_RiceDevel.py |}}： 新潟県に同一品種を一斉に移植したと仮定した時の出穂日(移植後日数)分布図を作成するプログラムのサンプル。
-    * {{:sample_RiceDevel-b.py|}}： 新潟県に同一品種を一斉に移植したと仮定した時の出穂日(暦日)分布図を作成するプログラムのサンプル。
-    * {{:sample_RiceDevelPoi.py|}}： 品種や移植日、圃場位置などの栽培条件をCSVファイルから読み取り、それぞれに対する出穂日を予測してCSVファイルに出力するプログラムのサンプル。
-    * {{:sample_RiceDevelPoi-data.csv|}}： 上のプログラムのためのサンプルデータ。
-    * {{:sample_daylength.py|}}： daylength：日長の分布を計算する関数のサンプルプログラム。
-    * {{:sample_WaterTemp_Map.py|}}： 滋賀県を対象に特定日の水田水温を計算して「地理院地図」に重ねた分布図を出力するサンプル。
-    * {{:sample_WaterTemp_TS.py|}}： 特定メッシュで水稲栽培期間の水田水温を計算してグラフ化し、CSVファイルを出力するサンプル。
-    * {{ :sample_GetMetData-Hourly_a.py |}}： GetMetDataHourly：メッシュ農業気象データ時別値（気温）を取得する関数のサンプル(その１)。特定メッシュにおける一定期間のデータを取得してグラフ化。　<color #ed1c24>new!</color>
-    * {{ :sample_GetMetData-Hourly_b.py |}}： GetMetDataHourly：メッシュ農業気象データ時別値（気温）を取得する関数のサンプル(その２)。面的な分布を取得して表示。　<color #ed1c24>new!</color>
-----
-==== オフラインでPythonを利用する方法 ====
-　お使いのPCのネットワーク環境によっては、データ配信サーバーに接続できない場合があります。そのような場合は、FireFoxやInternetExplorerなどのWebブラウザを用いてデータをファイルとしてダウンロードし、このデータにPythonがアクセスするように設定することにより、OPeNDAPでサーバーに接続しているのと同じ処理を実行することができます。この方法は、同じデータを何回も使用するような場合に、計算速度を向上させるとともに、サーバーの負荷を低減する効果があるので、積極的に利用してください。
-=== 手順1. データファイルを置く場所の準備 ===
-　Pythonの作業ディレクトリの中に、AMDというディレクトリ(フォルダ)を作成します。そして、その下に、ご利用の領域に応じてAreaX(Xは1～6の数字)というディレクトリを作成します。そのさらに下に、利用する年次の西暦を示す4桁の数字を名前とするディレクトリを作ります。年を跨く処理をする際は、両方の年のディレクトリを別々に作って、それぞれにデータファイルを格納します。
-=== 手順2. データファイルのダウンロード ===
-Webブラウザで、メッシュ農業気象データ配信サーバーを開きます。表示されるディレクトリを辿って、目的とするエリア、年次、の農業気象データを選択します。この構造は、手順1で作ったものと同じです。データが選択されると、図のような画面が開くので、青字で「Variables」と書かれているセクションの右にあるチェックボックスをチェックします。この際、気象データ本体だけでなく、time、lat、lonについても忘れずにチェックを入れます。この状態で、青字で「Action」と書かれているセクションにある[Get as NetCDF 4]ボタンを押してデータをダウンロードし、正しいディレクトリに配置します。
-=== 手順3. データファイルの改名(送り状の除去) ===
-ダウンロードされたデータは、「AMD_Area1_APCP.nc.nc4」のように末尾に「.nc4」が付いています。これはデータファイルの形式がNetCDF4であることを示す、いわば送り状のようなものなので、改名してこの部分を削除し「AMD_Area1_APCP.nc」のようにしてください。
-=== 手順4. Pythonプログラムの修正 ===
-　オフラインでPythonを利用する場合は、プログラムを少しだけ変更する必要があります。変更するのは、気象データを読み込むGetMetData関数と地理情報を読み込むGetGeoData関数です。ファイルからデータを読む場合は、関数の右側の括弧の中に、「,url='./AMD'」を追加します。
-　たとえば、
-	T1, tim, lat, lon = AMD.GetMetData("TMP_mea", timedomain, lalodomain)
-　なる文があったとすると、次のように修正します。
-	T1, tim, lat, lon = AMD.GetMetData("TMP_mea", timedomain, lalodomain, url='./AMD')
-以上で設定は完了です。
-=== 手順5. 切り出し範囲の設定を再利用する ===
-　メッシュ農業気象データ配信サーバーの「OPeNDAP Server Dataset Access Form」に、Data青字で「Data URL」と書かれているセクションに注目してください。下に示すような文字列が記されているはずです。
-	https://amd.rd.naro.go.jp:443/opendap/AMD/Area1/1980/AMD_Area1_APCP.nc
-　これは、手順2で指定したデータの取得範囲をデータ配信サーバーに知らせるURLです。次回、同じ範囲の最新のデータを切り出すときは、このURLを「DataURL」右のボックスに貼り付けるだけで範囲の指定が完了します。\\
-　ボックスを三回クリックすると文字列全体がハイライトされるので、これを[Ctrl]+[C]などでコピーし何かのテキストファイルに保存しておけば使い回すことができます。
-　URLの記法を理解してしまうと、平年値など、他のデータを同じ範囲で切り出すのが簡単になります。URLには、エリアや年次、農業気象要素名がディレクトリやファイル名のように記載されているので、当該部分の文字列を書き換えます。
-　URLをウエッブフラウザのブックマークとして登録してしまうと、究極的に楽をすることができます。**ただし、登録するURLには小細工を施す必要があります**。すなわち、URLの中最後の「.nc」の後に「.nc4」追加します。これは、手順3で「送り状」を削除したのと丁度逆の操作で、データをNetCDF4形式でパッキングするよう依頼するものです。このようにして作ったブックマークを「○○県気温2013」などの名で登録しておくと、次回からは、ブックマークをクリックするだけで、ダウンロードをすることができるようになります。ブックマークの作成方法はウエッブブラウザのヘルプに従ってください。
-[[start#Pythonならより自在にデータを処理できます。|戻る]]