Administrateur
Niveau : 5 N° de Membre :
1
Ancienneté : 100%
Participation : 100%
Inscription: 22 Feb 2002
Localisation: La Défense
Age: 49
Messages: 16790
Sujets Lancés : 2454
|
Rien d'automatique activé à ce stade, mais c'est déjà possible (cf plus bas).
A la base, j'étais parti sur plusieurs niveaux :
1) du pur manuel via un formulaire backend PHP où je peux copier/coller un post et ça détecte et reformate comme il faut pour créer le sujet sur le forum.
2) du semi industriel où on peut copier/coller plusieurs à la fois et ça "découpe" tout seul dans ce même formulaire.
3) ensuite j'ai fait une API qui permet d'injecter la même chose mais depuis un shell (en mono ou multi), c'est un script bash qui prend un contenu en entrée (html), le converti en JSON et le balance à l'API (en PHP) pour générer le sujet via les fonctions intégrées du forum.
4) et finalement, je me suis dit, pourquoi s'emmerder à générer l'HTML localement, autant lui faire bouffer une URL et il se démerde pour scraper la page (sur la source actuelle, il y a 10 sujets par page, d'où les point 2)
5) j'ai fait une boucle en bash pour qu'il me fasse un mois en one shot (ça ne prend en fait que maximum 17 URL, donc c'est en réalité hyper hyper light. Peu de risque de se faire repérer. Un simple internaute qui se balade fera bien plus de requêtes.
L'API détecte toute seule les posts déjà importés, donc pas de risque de doublon.
L'étape ultime, c'est de mettre le script en cron et le faire tourner régulièrement.
La source propose un flux RSS, mais en fait il n'est pas exploitable pour ce que je veux faire.
Voilà dans les grandes lignes.
PS: et oui j'ai fait exprès de conserver la date originale même a posteriori.
PPS : j'hésite à créer un compte dédié, c'est peut être mieux effectivement (et rien de plus simple, l'API à un fichier de conf avec l'ID du membre à utiliser pour poster, je pourrais même te mettre toi lol)
| IP: Logguée Temps en ligne : 98 Jours, 11 Heures, 7 Minutes, 12 Secondes en ligne
|