2023-11-01から1ヶ月間の記事一覧

Obsidianの複数端末での同期方法

christina04.hatenablog.comObsidianにDropboxのフォルダを指定すればMacとAndroidで同期できそう (さらにiPadを同期したい場合はiCloudを併用する)

Llama-indexを使って独自データを基にChatGPTに回答させる

以下のコードが動いたけど、遅すぎる 2回目移行は1回目の実行結果(jsonファイル)をstorageフォルダにキャッシュしてるみたいだけど、それでも遅い →勘違いだった。saveしている部分のコードをコメントアウトしたら割と高速になった qiita.comロケットのA…

HTMLをtext形式に変換する

ダウンロードしたNakkaのHTMLファイルをテキストに変換したい (Llama-indexに食わせるため)以下でできた stackoverflow.com textutil -convert txt *.html

lightgbmの分類器の使い方

import pandas as pd import lightgbm as lgb from sklearn.model_selection import train_test_split df_train = pd.read_csv('train.csv') data = df_train.drop(columns=['Transported']) target = df_train['Transported'] cols = data.columns.to_list(…

2値化された区分の画像から面積計算

画像の読み込み from osgeo import gdal import numpy as np from netCDF4 import Dataset import matplotlib.pyplot as plt import rasterio from rasterio.plot import show # base_file = 'AT_900_S2_10m_256'; # base_file = 'AT_316_S2_10m_256'; # bas…

SSHが切れた後もPythonスクリプトを実行した状態にする

applingo.tokyo nohup python test.py > nohup.txt & tail -f nohup.txt

Sentinelデータのセマンティックセグメンテーション

次のPytorch用のライブラリを使った github.comUnetの性能が一番良い

PytorchをUbuntuにインストールする

普通にPIPでインストールしたら以下のエラーがでた。 Could not load library libcudnn_ops_infer.so.8. Error: libcublas.so.11: cannot open shared object file: No such file or directory公式のページを見て再インストールする。 pytorch.org pip3 inst…

CUDA11.8とcuDNN8.7をUbuntuにインストールする

最新のTensorflowが対応しているバージョンに合わせてCUDA11.8とcuDNN8.7を入れる https://www.tensorflow.org/install/source?hl=pl#gpu ここを参考に cuda_11.8_installation_on_Ubuntu_22.04 https://gist.github.com/MihailCosmin/affa6b1b71b43787e9228…