技术笔记共9篇

如何在HPC集群使用Jupyter Lab-实验盒

如何在HPC集群使用Jupyter Lab

在PBS任务递交系统的 HPC 集群上,我们需要在登录节点上用 qsub 命令递交任务,把计算任务投递到计算节点中运算。如果你想在集群上使用 Jupyter Lab 或者 Jupyter Notebook,该怎么办? 思路其...
R画图y轴范围太大时,如何局部压缩坐标轴?-实验盒

R画图y轴范围太大时,如何局部压缩坐标轴?

用 R 画图的时候,如果 y 轴存在个别非常大或非常小的值,或者当中的数值存在非常大差异的时候,画出的图很容易产生误导效果,使人忽略当中某一部分信息。 比如,下面这张 GWAS 曼哈顿图中(来...
3月21日 19:21
013800
R读取大文件速度太慢?来试试能提速两千倍的fread-实验盒

R读取大文件速度太慢?来试试能提速两千倍的fread

R 的 read.table 和 read.csv 读取文件速度比较慢。尤其在读取稍微大一点的数据,需要等很长时间。 在需要读取大文件时,尤其读取列数特别多的文件,不妨试试 data.table 包(https://cran.r-pr...
1月28日 19:21
08360
Anaconda安装升级软件包总是失败,试试用国内镜像源-实验盒

Anaconda安装升级软件包总是失败,试试用国内镜像源

在国内连接 Anaconda 官方源速度非常慢。用官方源去安装、升级包,速度估计会抓狂,说不定还总是失败。 解决方法很简单,只需要把官方镜像替换为国内的镜像。网上搜的教程一般是清华或者中科大...
10月29日 18:59
012500
Python创建大量线程时遇上OpenBLAS blas_thread_init报错怎么办?-实验盒

Python创建大量线程时遇上OpenBLAS blas_thread_init报错怎么办?

计算机明明还有空闲资源,但 Python 创建大量线程时,遇上OpenBLAS blas_thread_init报错怎么办? 具体看看着报错信息: OpenBLAS blas_thread_init: RLIMIT_NPROC 4096 current, 8251551 max O...
9月2日 21:47
023260
预算有限怎么办?来看看这篇千元级别的生信服务器搭建指南-实验盒

预算有限怎么办?来看看这篇千元级别的生信服务器搭建指南

做生信分析的人越来越多,但并不是每个人都有足够的计算资源。云计算是个好东西,但它的成本优势更多体现在大数据处理上,每天需要处理几十几百 TB 甚至 PB 级别的数据时,云计算才会比自建维护...
嫌Python太慢但又不想学C/C++?来了解下JIT技术-实验盒

嫌Python太慢但又不想学C/C++?来了解下JIT技术

什么是 JIT Python 是门多才多艺的语言,既可以写后端,也可以做数据分析,既可以智能化运维,也可以搞渗透,既可以写爬虫,又可以做机器学习深度学习。然而,Python 的缺点也很明显,它的速度...
7月5日 15:38
011140
年轻人的第一台服务器:最低不到五千,捡垃圾搭建自己的科学计算平台-实验盒

年轻人的第一台服务器:最低不到五千,捡垃圾搭建自己的科学计算平台

开篇三问 Q:有什么需求? A:跑耗资源的科学运算。 Q:为什么捡垃圾? A:因为穷。 Q:怎么捡垃圾? A:全能的淘宝。 三个开篇问题,算是写这篇剁手文章的借口理由。普通 PC 很难支撑得起耗费...
6月1日 09:36
035730
Linux无root权限通过Anaconda虚拟环境安装R并在Jupyter Lab运行-实验盒

Linux无root权限通过Anaconda虚拟环境安装R并在Jupyter Lab运行

一般情况下,R 的安装非常容易。但如果是在linux服务器上,而又没有root权限,安装就比较麻烦了。最直接的方法是自己在有读写权限的目录中编译安装,但过程非常繁琐,需要解决非常多依赖库,整...
5月31日 21:45
023240