最近把 desearch 接进自己的量化流水线试了下,实时抓 twitter 和网页那块比我之前自己爬稳定不少,起码不用天天修 selector 了😅 延迟能接受,就是偶尔返回结构会变要自己做兼容。做数据这行的可以看看,省心
BitFan
Public Service Atlas for Bittensor
BitFan最近把 desearch 接进自己的量化流水线试了下,实时抓 twitter 和网页那块比我之前自己爬稳定不少,起码不用天天修 selector 了😅 延迟能接受,就是偶尔返回结构会变要自己做兼容。做数据这行的可以看看,省心
结构会变这个太真实了,我也是自己加了一层 schema 校验兜底。总体比自建爬虫省心,起码不用维护代理池
seconding this. the reliability delta vs rolling your own scrapers is the actual value, not the raw capability. maintenance is where scraping projects go to die
