Category: ブログ

運用は難しい

自己紹介 現在、学部 4 年の森井です。体調をよく崩しています。優しく接してね。 色々あって、前回書いた自宅の Kubernetes 環境はおやすみしてます。今日はそれ含め運用についてのお話です。 自宅の Kubernetes 環境をおやすみした理由 理由は色々あるのですが、一番は家の回線が変わったことによって既存のネットワークが崩壊し、それを修正するモチベーションと時間がないのが主な理由です。 他の理由として電気代がかかる、環境の更新がだるいというのもあります。Linux のディストリビューションがディストリビューションだけにね…。 研究室での運用 ここは、自分はほとんど手をつけてないですが、研究室における運用も大変です。例えば、直近でも大学停電復旧後に ESXi が起動しないことがあったり、研究室内で運用しているマイクロサービスがちょくちょくダウンしたりと、ハードウェアからソフトウェアにかけててんやわんやしてます。 特に、ESXi などのサーバ関連は研究の進捗にも関わってくることなので、けっこう重要な問題です。その割にはESXi のバージョンが更新されてなかったり、VM が放置されてたりとかアレなんですが…。 自宅や研究室以外にもサーバ運用しているところがあります。そこもわりかし運用がちょっと放置気味でして、近々直さないと言いながらおそらく一年ぐらいは経っているかと思います。 その他の運用 上記のようなサーバ運用だけでなく他にも運用はあります。例えば、ソフトウェア開発者であれば、ソフトウェアのバグ修正や機能追加といった運用、コミュニティの管理者であれば、コミュニティの運用といった様々な運用が必要となります。 時には、複数の運用も必要となります。例えば、先ほどの例を使用すると、「サーバ運用 + ソフトウェア運用」や「サーバ運用 + コミュニティ運用」とかがあげられます。 運用ポリシー 通常、これらの運用は一人ではまかないきれません。自分が自宅の運用をやめているように、モチベーション、時間など様々な自身の有限リソースをそこに充てなければならないからです。 そのために、運用に充てる人を増やしたり、運用ポリシーを定めたりと運用に対して様々な対策をとることが必須となります。 しかし、これがまた難しく、現実には運用できる人がもういなかったり、運用ポリシーを定めても遵守されなかったりするわけです。ほかにも、運用の文書化がされていない、されていてもまとまっていない (= 運用のため準備がされていない) など色々なことが現実にあるわけです。これによって何が起こるかというと、重大なインシデント (いわゆる現場猫案件) や組織の崩壊です。 このことからわかるように、運用というのは重要でありながら難しい、非常に厄介な代物です。だからこそ、SRE といった職や自動化といった作業が活躍するわけですが…。 おわりに そんなわけで、運用について実体験を交えて軽く書きました。ソフトウェアからコミュニティ含め色々な運用を見たり聞いたり、時には携わったりしましたが、運用というのは本当に大変です。 自分の中で一番大変だと思う運用は自分自身の運用です。早寝早起き、一日三食といった行為ができているかと言われたらできていないですし…。 あと、関係ない話ですが、「まちカドまぞく」と「お兄ちゃんはおしまい!」を勢いで全巻買ってしまいました。お金の運用も大切ですね!

書き捨てのPythonプロジェクトを生成するワンライナー

 書き捨てなのにプロジェクトとは🤔 前置き  ここでは「書き捨てのPythonプロジェクト」を、下記の自分以外に需要のなさそうな要求を満たすものとします。 Pythonのちょっとしたスクリプトを書きたい フォーマッタとリンターは欲しい black, isort, flake8, mypy 環境を汚したくない venvを使いたい Visual Studio Codeで書きたい Git管理は今のところやる気がない Git管理をするならGitHubのテンプレートなどを利用したほうが良いでしょう  全ての要求を満たそうとするとディレクトリが出来てしまうため、「プロジェクト」としました。 本題  今回のワンライナーは以下の通りです。Linuxを想定しています。(ワンライナーと言いつつ && を利用しているのはレギュレーション違反かもしれません……)  やっていることは、GitHub上のレポジトリのアーカイブをローカルに落としてきて、展開しているだけです(今回参照しているレポジトリに、筆者が前置きで書いた要件を満たすためのファイルが置いてあります)。そのため、「書き捨てのPythonプロジェクト」以外にも適用できます。  このあとは、venvの作成と pip installをして、Visual Studio Codeで開くという手順がありますが、ワンライナーとしてどこまで含めるかの問題でしょう。 解説 以下が一般化(?)したものです。[フォルダ名] は一致させる必要があります。  GitHubは図のように、UIからレポジトリのZIPアーカイブをダウンロードできるようになっています。このリンク末尾の拡張子を .zip から .tar.gz に変更することで、GZIP形式でもダウンロードできます。今回はcurlコマンドを利用してアーカイブをダウンロードしています。  tar コマンドでアーカイブを展開しています。標準入力でアーカイブのデータを受け取るため、z で明示的にgzip形式であることを教えてあげる必要があります。また、fのあとに – を指定することで標準入力を受け取ることを示しています。そして、–strip-components 1 で [レポジトリ名のディレクトリ]/[ファイル] のように展開されるものからレポジトリ名を削って、直下にファイルが展開されるようにしています。あと、-C は展開先のディレクトリの指定です。 まとめ ワンライナーはタイトル詐欺

情報処理学会 DPS192(広島)にての発表

こんにちは!CDSL4年の山本です。第192回DPS・第97回EIP合同研究発表会で発表してきました。広島の大学にて対面で参加しました。 私が実際に行ってみてどんな様子だったのかを書いていきます! 1日目 朝5時に起きました…空港とか基本行かないんで少し不安になりながら出発しました。 朝8時10分発の飛行機に乗る予定でした。が、なんと雷雨の影響で30分遅れました…幸先が悪いなと思いつつ揺れる機体に乗りながら広島まで向かいました。 10:00ぐらいには広島についていました。広島空港から市内まではバスで1時間ほどかかりました。高速をずっと走ってましたね。そして広島駅に到着!時刻は11時、DPSが始まるのは13:30なので先に駅周辺でお昼を済ませることにしました。 広島といえば…お好み焼き! と広島を満喫しつつ会場まで路面電車で向かいました。東京では路面電車なんて見ないので見てて面白かったです。 発表会場はかなり広めの部屋で行いました。 初日は合計7名の発表を聞いていました。正直EIP側の学会は自分と分野が違いすぎてほぼ理解ができませんでした…DPS側の方はなんとか理解しつつ興味深いなと思いながら聞いていました。質問も頑張ってしてみました。休み時間には軽く他大学の人とも話してみました。最後にライトニングトークセッションといったものを聞いていましたが、これが非常に面白かったです。他大学の教授の研究内容が簡潔に発表するといった内容で、分かりやすくて勉強になりました。 1日目が終わりホテルに向かいました。ドーミーインに泊まりました。 綺麗なのと家のベッドより遥かに広かったのでゆっくりできました。 晩御飯は福井大学の川上先生と一緒に食べに行きました。 串田先生と川上先生の話が盛り上がっており、あまり自分から話すことはありませんでいたが、ずっと聞いていました。海外の話が多く、タイとシンガポールの話とかは聞いていて面白かったです。 ホテルに戻ってからは温泉に浸かってたり夜鳴きラーメンを食べたりしましたが、酔っていたのもあり10時過ぎにはもう寝ていました。 2日目 発表当日です。朝御飯を済ませ会場に向かいました。私の発表は5番目でしたが、研究を聞いている余裕なんてなくずっと心臓バクバクでした。 めっちゃ緊張しながら発表を行いました。 嚙んだし詰まったし満足な内容ではありませんでしたが、理解はいただけたようでたくさん質問・意見を頂きました。 初めて発表でアニメーションをふんだんに用いました。元から分かりやすい提案だと自負していますが、違う分野の人でもなるべく容易に理解できるように工夫しました (レビューしてくれた研究室の皆様ありがとうございました!!!;;) お昼は串田先生の好物のインドカレーを食べに行きました。東北大学の金子先生とご一緒させていただきました。 金子先生の話が面白くて、保険の話と会社に入ってからの話なんかは非常に役立ちそうです。 午後もEIP側の発表を聞いて無事に学会発表が終わりました。 飛行機が夜なのでまだまだ時間があるということで、個人的に前から見てみたかった原爆ドームに観光しに行きました。 観光を終え、広島空港にまで戻りました。研究室、バイト、親、友達、ペットにそれぞれお土産を買いつつ東京まで帰ってきました。ちなみに東京で迷子になり結局11時ごろに帰宅しました… 時間に余裕があったおかげで楽しく学会発表をすることができました!始めて行った広島でしたが満喫できました! 今までサポートしてくださった研究室の皆様に心より感謝いたします。

KubernetesのNamespaceがTerminatingで消えないとき

Kubernetes(K8s)にRancherを入れていた時にNamespaceがTeminatingで動かなくなったので備忘録として書いておきます. $ kubectl edit <TerminatingになっているNamespace> 上記のコマンドの出力された中で finalizers の部分を削除する. こうすると消えました!

BWF World Championshipsにいってきました

学部4年の坂本一俊です. 8月28日日曜日に東京体育館にてバドミントンの世界選手権の決勝がありました. 前日にチケットが売っていたためICM Workshopが終わった後に行ってきました. ついたときにはMDの決勝は終わっており,MSとWS,XD,WDの決勝を見ました. 感想として自分がバドミントンをやってるからこそのすごさを生で見れたことに感動しました.

おかし

こんにちは!!学部4年の牧です。前回記事を書いてから約半年が経ちました。半年の間に就活、テクニカルレポートの提出、中間発表があってとても忙しい毎日でした。特にテクニカルレポートの提出と中間発表は大変で同期や院生の方々も、疲弊しているのが分かりました。そのため少しでも疲労回復してもらうために、研究室におかしを設置することにしました。研究で疲れた時におかしを食べることで栄養を補給できます。小休憩する時におかしはぴったしです!! おかしはうまい棒やドーナツ、ハイチュウなどを設置しています。特にドーナツは人気で、設置すること2,3日も経たずになくなります。皆さん頭を使うので、糖分を欲しているのではないかと密かに考察しております。今後としては涼しくなってきたら、個包装のチョコレートなどを設置していくことも考えています。 これからも疲れた時はおかしを食べて、CDSLのメンバーで力を合わせて研究を頑張っていきましょう!!

Dockerの勉強会を行ったときの資料

dockerとは? hands-on mintにcoreOSを立ててみよう sudo passwd core 超重要 openssl passwd -1ここで出てきたハッシュ値を後述のcloud-config.ymlに貼り付ける(さもなくばインストール語ログインできなくなる 3回やらかした私が言うので間違いない) ifconfigssh core@192.168.100.xxx cloud-config.yml sudo coreos-install -d /dev/sda -C stable -c cloud-config.yml 成功! sudo shutdown -r now ESXiのコンソールでipを確認する 確認したipでsshログインする ssh core@192.168.100.xxx“ docker-composeを入れよう! いいね! docker run, kill, rm よく使うコマンド 実行中のプロセスを見る docker psdocker ps -a 実行中のプロセスを停止削除する docker kill [id]docker rm [id]##ダウンロードしたイメージを確認するdocker images`docker rmi [REPOSITORY NAME] ubuntuを立ててみるdocker pull…

Read the full article

ESXiが起動できなくなったのでBIOSアップデートをしました。

学校の停電復旧時からVMware ESXiにアクセスできないという連絡を頂きました。 大学に登校した際にサーバを確認した所、 と表示され、正常に起動できていませんでした。 良い色🟪のエラーですね。 この紫の画面、PSOD ( Purple Screen of Diagnostics / Purple Screen of Death )と言うらしく、Windowsで言うブルースクリーンと同じみたいです。 SSD、マザーボード、メモリ、CPU、何が悪いのか、構成を変更して原因の特定作業を行いました。 夏季休暇前に配属された3年生の井田くんと平尾くんが特定作業を手伝ってくれました🌟 エラーが発生したサーバのマザーボードからM.2 SSDを取り出し、別のマザーボードで起動させた所、 正常起動した為、高確率でマザーボードに原因があると考えました。 BIOSのファームウェアやドライバを最新にすると治るという記事を見つけたので、マザーボードのBIOSアップデートを行う事にしました。 エラーが発生したサーバのマザーボードはX570-PRO、CPUは8 CPUs x AMD Ryzen 7 3800X 8-Core Processorを使用しています。 X570-PROはASUS EZ Flash 3ユーティリティを使用する事で、ネットワーク経由でBIOSアップデートが可能みたいです。BIOSのアップデートも楽にできるようになりましたね! バージョン0411から3001にアップデートを行いました。結構古いバージョンが入っていたようですね。 BIOSアップデート後、CMOSクリア(BIOS 設定初期化)を行ったのと近い状況になり、ESXiを動かす為の設定も初期化されてしまいました。その為、ESXiに必要な設定を変更しました。 BIOSの設定を変更後、PSODが表示される事無く、正常起動しました! 私も家のパソコンのBIOSアップデートしようかな〜! 後期もがんばります!それでは✋

3年生初めての作業

初めましてこの度自己推薦でCDSLに入った3年生の平尾真斗です。 まだまだ入ったばかりで何をやっていいのかわからないですが先輩たちに聞きつつ作業をしています。 今日のなのですが、エラーの起きたサーバーを先輩たちと一緒に直す作業をしました。初めてで何をすればいいかわかりませんでしたが優しく指導していただきサーバーを直せました。 さて、入った私たちなのですがいきなり大きな試練に立たされています。8月31日までに研究に関するテーマを作らないといけません。手順としては、興味ある分野のピックアップ→ユースケースの作成→課題の作成→テーマづくりでやろうと考えています。今のところ興味ある分野のピックアップはでき「監視」という分野についてやろうと思っています。理由としては監視業務による人的削減を行ってみたいと考えているからです。次やることはユースケースの作成ですがもうすでに悩んでいます。ユースケースは事例がたくさんあり自分の分野がどう生かせるかわかりません。ですがあきらめず優しい先輩たちの助けをいただきつつ完成させていきたいです。まだまだ未熟者で何をしていいかわかりませんがCDSLのメンバーとして粘り強く頑張っていきたいです。よろしくお願いします!

GPA2以下が学会発表する

学部4年の山本です。しょっちゅうブログやらニュースとか書いてる人です。 タイトル通りです。学会発表します(予定)、GPAはガチで2以下です。自分が面倒くさがりなのもあって勉強ほぼしてきてません。ブラインドタッチも出来ませんしPython未だによくわかりません。なのにIoT系の研究してます。では何故そんな僕が学会発表をしようと思ったのか、かるーく書いていきます。 とりあえず大きな理由として2つあります。 1つ目は発表した方がいいという話を聞いたからです。メリットとしては転職の時に役立ちます。学会発表することで名前がインターネット上に残ります。資格とかは社会に出てからも取れる機会はありますが、学会発表となると経験できるのは学生の今だけでしょう。 2つ目はこのCDSLの仲間が非常に心強いからです。少なくとも自分の知識だけだととても発表できるような内容には仕上げることは出来ません。せっかく経験豊富な先輩方がいるのなら頼らない訳にはいきません。院生2年の杉本さんが難しいところはめちゃくちゃ手伝ってくれます。プログラムも4年の皆が教えてくれます。ありがたいことです。自分は人に頼るのが得意なのかなーって思いながら研究を進めています。 まあせっかくの機会だし自分の面倒くさがりな性格も直せるチャンスだと思うのでやれるとこまで頑張りたいと思います。今から8月までにとにかく結果を出せるよう奮闘中です。 GPA2以下の僕でも挑戦できる機会があるのでこの記事を読んだ大学生の人は是非、挑戦してみてください。やらないメリットよりやるメリットの方が大きいと思います!!