Logo

石川県休日当番医情報を(http://i-search.pref.ishikawa.jp/toban/index.php?a=3) スクレイピングサービスkimonolabを使ってAPI化していましたが、kimonolab終了に伴いサービスが停止しております。
情報提供元の石川県医師会には、情報提供の承諾をCode for Kanazawaを通して取得済みです。

スクレイパーの作成、サービスの定期メンテ、運営方法などお手伝いいただける方を募集します。

SNSシェア
ステータス
元の課題
関連課題
参加者一覧
Kenichiro Fukushima Kazunobu Ikagawa Koji Ishiwatari Ryousuke  Igarashi
( ログインすることでこの課題に参加できるようになります )
ふぁらお加藤

直接 Fukushima さんとお会いすることがあったのでこの件煽りました。

いろいろ説明がだいぶ省略されていますが、現行の設計

ウェブページ > スクレイプしてデータ > JSON化してリポジトリにコミット > サービスページへ

と今現在これで動かしていますが、Fukushima さんが医師会と話しを進めてメールをいただけ次第

医師会メール > メールをパースしてデータ > JSON化して(以下同じ

部分の開発に Ishiwatari さんが着手できます。そういうわけで進捗があったら Fukushima さんよろしくお願いします。

10ヶ月前 に 投稿

Kenichiro Fukushima

医師会にメールフォーマットを頂きます。

10ヶ月前 に 投稿

ふぁらお加藤

Ishiwatari さんのスクレイパアップデートで今は安定して動いているようです。

11ヶ月前 に 投稿

ふぁらお加藤

スクレイパにちょっと課題がまだありますが Ikagawa さんから更新権いただいたので、
私の https://pharaohkj.github.io/holiday_doctor/ 及び https://github.com/PharaohKJ/holiday_doctor
は破棄します。

Ikagawa さんのリポジトリで開発・運用していきます。すでに本プロジェクトの開発用URLにあるところは
こちらの最新版をマージ済みで、加えて毎晩更新するようにしかけました。

https://50river.github.io/holiday_doctor

では、最新版のページがみられるようになっています。

スクレイパの精度あげるより、情報提供してもらえるのが一番なので福島さんよろしくおねがいします。

12ヶ月前 に 投稿

ふぁらお加藤

私と Ishiwatari さん共同作業の成果を

https://pharaohkj.github.io/holiday_doctor/

で公開しました。リポジトリは

https://github.com/PharaohKJ/holiday_doctor

です。毎晩0時X分(Xはランダム)に、毎度毎度スクレイピングし、gh-pagesを更新することで
対応してます。
(つまり Kimono にかわる WebAPI を実装したのではなく、データ用の json を直で更新しているという作りになりました)

ちょっとテストして、問題なさそうなら Ikagawa さんのところにコミット権もらってそこで公開するか、 CfK さんに運用してもらうか・・・など詰めたいです。

とりあえず、3月いっぱいぐらいちゃんと動いてるか調べる?(週に1度しかデバッグできないですしね)

そして↓で議論しているとおり、「スクレイプはダメ」の件は全く対応していません。

Ishiwatari さんもおっしゃってましたが野々市以外の市町村も対応できそうなので、それも作っちゃえば交渉が進むかもしれませんね。

12ヶ月前 に 投稿
ふぁらお加藤 さんが 12ヶ月前 に 更新

清原智和

清原智和 さんは課題 休日当番医webアプリの開発 への参加を辞めました。

1年以上前 に 投稿

清原智和

> 加藤さん
ご連絡ありがとうございます。

ただ、プロジェクトに参加するためにどうしたらよいのかは、わからないままでした。
Ha4go 上ではないところで議論が進んでいるらしいということは分かったので、このプロジェクトからは抜けておきます。

1年以上前 に 投稿

ふぁらお加藤

ふぁらお加藤 さんは課題 休日当番医webアプリの開発 への参加を辞めました。

1年以上前 に 投稿

ふぁらお加藤

> 清原智和 さん

現時点では下記のステータスなようです。

- 実装方式検討、議論から再開。
- データのもらい方は決まっている
- もらい方は決まったので公式ページでスクレイピングする手法は採用しない

1年以上前 に 投稿

清原智和

このプロジェクト自体は継続で、方式は再検討というステータスですか?
それとも、このプロジェクト自体が塩漬けで別のアクションを待てという話ですか?

1年以上前 に 投稿

Kenichiro Fukushima

なんかすみません。
許諾の内容は関係者には伝えていたつもりだったんですが、このスレッドを知った頃には遅かったって感じでした。

データ提供のあり方は、おっしゃる通り、今後、実績を重ねてお願いしていこうと思います。
まずは、既に提供しているやり方と同じ方法で、CfKも頂くという形になっています。

1年以上前 に 投稿

ふぁらお加藤

え?そうなんですか?なんだもうだいぶできちゃってました。
毎朝やってる5374のscrapeついでだったらご提供できるかなと思ってさくっとやるつもりでした。
封印してしまいます。

メールでやりとりするならそれでいいんじゃないでしょうか。

私としてはGoogleスプレッドシート、OneDriveとかでやりとりして、javascriptでそれを読むような作りにしたほうが
楽だと考えます。

根本的な課題として、情報提供「元」が

- どのような書式で入力し
- どのような方法で受け渡すと
- オープンデータAPIが作成しやすいか

というのがとても大きいテーマですね。

まぁ今回は私はこれでもう何もさわらないです。何か困ったら呼んで下さい。

1年以上前 に 投稿

Koji Ishiwatari

何をお手伝いすることが出来るか分かりませんが参加したいと思います。お手柔らかにお願い致します。

1年以上前 に 投稿

Kenichiro Fukushima

>その前提で
スクレイピングはダメでもらったデータを利用する前提で

1年以上前 に 投稿

Kenichiro Fukushima

県医師会から利用許諾を受けているのは、メールでデータ提供して頂くということになっていて、スクレイピングはまずいです。ページの構成が変わった場合の誤動作の心配もあるため、その前提で作ることは避けられそうにありません。

あと、ちょうど仕切り直しで別の場所でメンバーも集めていたので、一度、ミーティングできたらいいかもしれないです。

1年以上前 に 投稿

Kazunobu Ikagawa

お疲れ様です。
そうなんですよね、ページングあるんですよね。
あと、ページごとに日が違ったりもするんで、今のフォーマットじゃダメなパターンもあるかもです...
これは、逆に医師会へ対して、出し方を統一してもらった方が楽かな?

1年以上前 に 投稿

ふぁらお加藤

https://github.com/PhalanXware/holiday_doctor_scraper

コードはできたと思ったけど、ページめくりに対応してなかった。
まともに動くのできたらまた連絡します。いったん今月目標で。

1年以上前 に 投稿

ふぁらお加藤

https://github.com/50river/holiday_doctor/blob/master/js/main.js#L79

スクレイプした結果のスキーマは上記行を参考にすればよいのでしょうか?

https://github.com/PhalanXware/scraped-5374
でやってる方法とほぼおなじ方法でなら提供できる「かも」。

1年以上前 に 投稿

Feed icon この課題の更新を RSS で確認することもできます。