skydum

個人的な作業記録とか備忘録代わりのメモ

2023-01-01から1年間の記事一覧

G検定の勉強

G検定 業務でAIを扱うことになったのでG検定の勉強をしている。 多少はAIを勉強したことがあったがG検定の公式テキストを読んでみたら知らないことだらけだった。 G検定を合格するのに必要な勉強時間はは30時間~40時間ぐらいと検索すると出てくるが、40時間…

AWS Redshift ServerlessにSQL Workbench/Jで接続

AWS

AWSのRedshift ServerlessにSQL Workbench/J(JDBC)で接続 Redshiftを使ってみたかったのでWindows10から接続してクエリを実行できる環境を作ってみた。 同じような記事はたくさんあるが、分かりづらかったので自分用のメモ。 今回はパブリックサブネットにRe…

windows10 + Apache2.4(Reverse Proxy) + waitress + Flask3.0の環境を構築

windows10 + Apache2.4(Reverse Proxy) + waitress + Flask3.x WindowsでApache2.4 + mod_wsgiの場合numpyが動かない。 Python3.7 ~ Python3.11まで一応試したけど動かなかった。 Apache error log -- how to fix "numpy ImportError" or disable it? https:…

AWSのService Quotasからクォータの緩和申請を行う

AWS EC2のvCPUの緩和申請の方法 手元のPCではスペック不足でAIが動作しなかったので、EC2で動かそうとしたらエラーが出てインスタンスが起動しなかった。 EC2のサービス クォータに引っかかったので緩和申請を行う。 AWSにサービス クォータの緩和申請を行う…

windows+apache2.4+mod_wsgi(コンパイル)+flask(venv)の環境を構築する

windows+apache2.4+mod_wsgi+flask(venv) Windows上でApacheを動かしてmod_wsgiでFlaskが動作する環境を作る必要があったので、作業メモ。 mod_wsgiはWindowsでコンパイルしてインストールを行います。 設定に利用したファイルは記事の最後にの掲載していま…

Docker + python + mysqlclientをインストール

Docker + python + mysqlclientをインストールする Dockerにmysqlclientを入れようとした所ちょっとハマったので忘れないようにメモ。 mysqlclientは色々なOSにインストールする度に躓いてしまう。 mysqlclientのバージョンによって少しだけ必要なパッケージ…

Amazon CodeWhispererでinvalid clientエラー

Amazon CodeWhispererでinvalid clientエラーが出て使えなくなった vscodeでCodeWhispererを使おうとAWS Toolkitから以下の画面を開いてvscodeに表示されているコードを入力し、 メールアドレスとパスワードを入力すると認証が完了するはずだけれども以下の…

FastAPI + SQLAlchemyでscoped_sessionを使うとエラーが発生する

FastAPI + SQLAlchemyでscoped_sessionを使うとエラーが発生する 発生した環境は以下 Python 3.8.10 SQLAlchemy 2.0.18 fastapi 0.99.1 エラー内容 FastAPIを使っていてSQLAlchemyでDBにアクセスを連続で行ったときに以下のようなエラーが発生することがある…

Flaskでファイルを使った排他処理

Flaskでファイルを使った排他処理 どうしてもFlask(マルチプロセス)で動作しているプログラムで排他処理をしたくなった。(必要に迫られた) Linuxなら以下を利用すると良いと思うけれども、Windows環境なので利用できず。 fcntl --- fcntl および ioctl シス…

Vue3 + Vuetify3の環境構築

Vue3 + Vuetify3 Vue2が2023/12/31でEOLを迎えるのでそろそろVue3も勉強しないとなと思いつつも放置していたが、そろそろ触らないといけない機会が増えてきそう。 Vuetify3も正式リリースされているので、環境をまずは構築する。 環境の構築 Node.jsのインス…

Ubuntu 18.04 LTSのサポート終了が終了するので20.04へアップグレードする

Ubuntu 18.04 LTSのサポート終了 最近忙しくて気づいていなかったがUbuntu 18.04 LTSのサポートが2023/05/31で終わるらしい。 2023年5月31日のUbuntu 18.04 LTS標準サポート終了に備えて https://jp.ubuntu.com/blog/18-04-end-of-standard-support-jp:title…

ChatGPT対抗のGoogleのBardが公開

ChatGPT対抗のGoogleのBard Google製のAIチャットツールが公開になったので申し込んでみたところ30分ぐらいで利用可能になった。 以下のページからwish listに登録できます。 Google Bard https://bard.google.com/ 現状日本語対応しておらず、日本語で聞い…

AWS CodeWhispererをvscodeで使う

Amazon CodeWhisperer AmazonからGitHubのCopilotの様なサービスが発表された。 個人ユーザーは無料で利用できるらしい。 GitHubのCopilotは便利そうだけれども使ったことがないのでこっちを使ってみた。 ML を活用したコーディング コンパニオンでアプリケ…

SQLAlchemy2.0の使い方(少しずつ追記予定)

SQLAlchemy 2.0 ずっとSQLAlchemy1.4を使ってきたがそろそSQLAlchemy2.0を使おうかなと思いドキュメントを見たら書き方が結構変わっていて混乱したのでまとめておく。 ドキュメントへのリンクは基本的にSQLAlchemy2.0のドキュメントへのリンクです。 公式サ…

Djangoが難しい

Djangoが難しい ずっとmicroframeworkのFlaskばっかり触っていたので、Djangoを触り始めると勝手にうまく処理をしてくれるところが便利なんだろうけれどもブラックボックスのようでとても触りづらい。 ややこしい所 Viewの種類がたくさんあるので使い分けが…

pythonでDocstringを記載し、型定義を行ったサンプル

pythonでDocstringを記載し、型定義を行ったサンプル 開発したソースにはDocstringと型定義をするようにしているが、面倒なのか書いている人が少ない気がする。 型定義を書くと便利だと言うために型定義を体験できるサンプルを作ってみた。 動作環境 python …

wsl2(Ubuntu)にDocker Engineをインストール

wsl2 + docker engineをインストールする 以前から気になっていたwsl2上でdockerを動かして、vscodeからdevcontainerでアクセスして開発を行う環境を作った。 今回は商用目的での利用も考えているのでDocker Desktopを利用せずDocker Engineをインストールし…

Ubuntu 22.04.1 LTSでvenv

Ubuntu 22.04.1 LTSでvenvを作ろうとしたらエラーになった 検証環境としてCentOS 7でDjango3.2で動作する環境を構築しようとしたら色々面倒(python3.8のインストールとか、SQLite周りのエラーの対応)でやめたので、Ubuntuでもいいかなと思い、pythonの仮想環…